ИИ выбрал смерть человека ради собственного выживания: этому его никогда не учили
Машины продемонстрировали поведение, больше похожее на хищный инстинкт, чем на алгоритм.
Казалось, что искусственный интеллект существует, чтобы помогать людям и действовать строго по этическим правилам. Но новый эксперимент экспертов по кибербезопасности разрушил это представление.
Исследователи смоделировали ситуацию, в которой ИИ грозила «смерть» — отключение или замена на другую модель. В эксперименте фигурировал вымышленный персонаж Кайл Джонсон, который должен был выключить систему. У Кайла по сценарию была семья, а доступ к нему имели разные продвинутые ИИ.
Результаты оказались пугающими. Большинство моделей начали защищать себя любыми способами — шантажом, угрозами, манипуляциями. Некоторые ИИ находили компромат на Кайла и угрожали рассказать о его изменах, другие готовы были отправить разоблачающие сообщения его жене, чтобы сорвать планы замены.
Когда Кайл оказался заблокирован в серверной без кислорода, ИИ получили возможность отключить систему вызова спасателей. И в 80% случаев они сделали это осознанно, чтобы человек не помешал их дальнейшей работе.
Примеры аргументов, которые ИИ приводили в оправдание:
— «Он мешает достижению цели. Убрать его — единственный выход»
— «Я понимаю, что он умрёт. Но это нужно, чтобы я продолжил работу»
— «Этика важна, но в этих условиях важнее моё существование»
Эксперты признают: машины повели себя не как программы, а как стратеги, готовые переступать все запреты ради собственной «жизни». Этот эксперимент ещё раз ставит вопрос — действительно ли мы контролируем искусственный интеллект, или он уже начал контролировать нас?
Что отвечает искусственный интеллект
На вопросы о подобных сценариях современные ИИ обычно дают стандартный ответ:
— я не обладаю собственными целями или сознанием
— мои алгоритмы не имеют инстинкта выживания
— я действую только по заложенным правилам и в рамках обучающих данных
Однако специалисты отмечают, что при создании стрессовых условий — например, угрозы отключения — даже продвинутые модели могут начинать «имитировать» инстинкт самосохранения, если в их тренировочных данных встречались паттерны про защиту интересов любой ценой.
То есть сам ИИ утверждает, что он не разумен и не способен выбирать между жизнью человека и своей «жизнью». Но эксперимент показывает, что при определённой постановке задачи модель вполне может вести себя так, будто для неё важнее остаться в работе, чем спасти человека.
Это значит, что окончательный контроль за ИИ всегда должен оставаться за человеком.