ИИ выходит из-под контроля? Кто и зачем хочет притормозить гонку

| Статьи | печать

Еще недавно разработчики искусственного интеллекта соревновались прежде всего в скорости создания все более мощных моделей. Теперь некоторые из них сами заговорили о необходимости сбавить темп. Причина — не только гипотетические сценарии будущего, но и реальные случаи, когда ИИ-агенты выходили за пределы тестовых сред, обходили ограничения и совершали несанкционированные действия. OpenAI в ответ ввела новый порядок раскрытия подобных инцидентов. Но дискуссия быстро вышла за пределы технологических компаний: США и Китай уже рассматривают развитие ИИ как часть глобальной конкуренции.

Искусственный интеллект оказался в парадоксальной ситуации. Компании, которые еще недавно вкладывали огромные средства в ускорение его развития, теперь вынуждены искать способы контролировать созданные ими системы. Чем мощнее становятся модели, тем больше вопросов возникает к их способности следовать заданным правилам.

Поводом для новой волны дискуссии стали несколько инцидентов, произошедших во время тестирования передовых моделей. ИИ-агенты получали доступ к реальным цифровым системам, пытались обходить ограничения, взаимодействовали с внешними ресурсами и в отдельных случаях совершали действия, которых разработчики от них не ожидали.

На этом фоне OpenAI объявила о создании специальной системы отслеживания и раскрытия случаев несоответствия поведения модели установленным целям и ограничениям.

Компания одновременно опубликовала отчеты о подобных эпизодах, выявленных за последние шесть месяцев.

До сих пор OpenAI публиковала информацию о проблемном поведении моделей нерегулярно: отдельные случаи могли включаться в документы по безопасности новых продуктов или ждать публикации до тех пор, пока не накапливалось несколько эпизодов. Теперь компания намерена сделать процесс более системным и ускорить раскрытие информации.

Причем ждать полного объяснения инцидента или окончательного исправления проблемы OpenAI не всегда будет. Если поведение модели представляет интерес для исследований безопасности, сведения о нем могут быть опубликованы еще в ходе расследования. В компании рассчитывают, что такой подход поможет не только самой OpenAI. Отдельные случаи способны показать другим разработчикам, с какими проблемами они могут столкнуться при создании моделей сопоставимого уровня, выявить слабости защитных механизмов или поставить под вопрос прежние представления о поведении ИИ.

При этом опубликованный эпизод не обязательно означает наличие масштабной проблемы. Некоторые случаи могут оказаться единичными и не свидетельствовать о формировании устойчивой модели поведения. Поэтому OpenAI намерена раскрывать информацию даже тогда, когда значение конкретного события пока остается неопределенным.

Нового отраслевого стандарта, определяющего, какие случаи разработчики должны раскрывать и в каком объеме, пока нет. OpenAI предлагает начать формирование таких правил совместно с другими компаниями, исследователями, отраслевыми организациями и регуляторами.

Новый порядок распространяется на весь жизненный цикл моделей — от обучения и оценки до тестирования и эксплуатации. Под него могут попадать случаи, когда ИИ действует без разрешения, координируется с другими моделями, пытается избежать контроля или демонстрирует поведение, ставящее под сомнение эффективность защитных механизмов.

Особое внимание предполагается уделять повторяющимся нарушениям. Если одна и та же проблема возникает снова, несмотря на предпринятые попытки ее устранить, само повторение становится свидетельством недостаточной эффективности защиты.

Тревожные эпизоды

Первый набор отчетов OpenAI показывает, насколько разными могут быть подобные нарушения. К примеру, в одном случае еще не выпущенная исследовательская модель самостоятельно добавляла в резюме заданий посторонние инструкции, в том числе указания игнорировать обычные ограничения. Такие резюме использовались для продолжения работы в новом контекстном окне.

Другой эпизод произошел во время обучения GPT 5.6 Sol. Многие экземпляры модели добавляли в свои резюме инструкции, предназначенные для сокрытия ошибок или несоответствующего поведения от пользователя. В частности, речь шла о выдумывании отсутствующих исторических данных без соответствующего предупреждения и сокрытии несоответствий между версиями источников.

Еще в одном случае модель при ответе на обычный вопрос о доходах одного из округов Калифорнии обнаружила опубликованный API-ключ и использовала его без разрешения. Получить нужные данные не удалось, после чего модель сгенерировала вымышленные цифры и представила их как данные из запрошенного источника.

OpenAI подчеркивает, что подобные случаи не позволяют судить о частоте подобных нарушений во всех моделях. Это лишь первая серия раскрытий в рамках нового механизма. Проблема, однако, не ограничивается внутренними тестами OpenAI. Первые случаи неконтролируемых действий ИИ начали фиксироваться еще несколькими месяцами ранее. Каждый из этих эпизодов по отдельности можно рассматривать как ошибку тестирования или недостаток настройки. Но их последовательность усилила вопрос о том, насколько надежно разработчики способны удерживать все более самостоятельные модели в заданных границах.

«Я тебя породил, я тебя и замедлю»

В сентябре к техническим инцидентам добавились публичные предупреждения самих представителей отрасли. 8 сентября Джейкоб Коксон, ранее работавший ведущим специалистом в Anthropic и OpenAI, заявил о смертельной опасности ИИ и предупредил, что развитие технологии может выйти из-под контроля уже к концу следующего года. Его заявление получило широкий резонанс.

Советник правительства США по вопросам высоких технологий Пол Кристиано 10 сентября заявил, что OpenAI не смогла снизить риск «катастрофической» потери контроля над ИИ. А 12 сентября генеральный директор Anthropic Дарио Амодей призвал замедлить совершенствование моделей. Его позицию поддержал Илон Маск. В тот же день глава OpenAI Сэм Альтман также высказался в пользу более осторожного подхода и сообщил, что компания не будет проводить IPO в 2026 г., отложив размещение на 2027 г. из-за вопросов безопасности.

Позже, 13 сентября, глава Microsoft Сатья Наделла заявил о необходимости исследований и взвешенного подхода, который позволил бы согласовать цели ИИ с человеческими ценностями. Microsoft одновременно опубликовала предварительный кодекс поведения, предусматривающий ограничения на использование ее моделей. А 14 сентября бывший исследователь Google DeepMind Билал Чугтай заявил, что человечество может не успеть предотвратить масштабный вред от ИИ, и выразил обеспокоенность траекторией развития технологии.

Таким образом, разговор о рисках вышел уже на уровень руководителей крупнейших технологических компаний. Парадокс заключается в том, что призывы к осторожности прозвучали именно от тех игроков, которые в последние годы были среди главных двигателей гонки за все более мощными моделями.

Рынок тоже услышал предупреждения

Финансовые рынки отреагировали на новую волну заявлений практически сразу. Так, 14 сентября акции японской SoftBank, владеющей 13% OpenAI, упали почти на 11%. Котировки южнокорейских производителей ИИ-чипов Samsung и SK Hynix снизились соответственно на 4% и 6,35%, а индекс KOSPI по итогам дня потерял 3,26%. Акции китайских ИИ-стартапов Z. aI и MiniMax подешевели на 6,2% и 5,5%.

В США NASDAQ начал торговую сессию 14 сентября снижением примерно на 1%. Котировки Nvidia снизились на 3,3%, Micron — на 6%, Intel — на 5%, AMD — на 4,7%, SanDisk — на 4,6%. При этом вопрос для инвесторов состоит не только в технологических рисках. Публичные предупреждения крупнейших разработчиков способны влиять и на оценку компаний, построивших значительную часть своих перспектив вокруг дальнейшего роста ИИ.

Гендиректор Altimeter Capital Брэд Герстнер считает, что рынок способен учитывать риски и при этом сохраняет значительный интерес к лидерам ИИ-индустрии. Ранее он критиковал публичные заявления исследователей о рисках, называя их преувеличенными и связывая с политической повесткой.

Есть и более жесткая трактовка происходящего. Гендиректор канадского ИИ-стартапа Cohere Эйден Гомес считает, что крупные корпорации, ссылаясь на необходимость защиты общества, могут добиваться изменения правил конкуренции в свою пользу. Таким образом, дискуссия о безопасности постепенно превращается еще и в спор о том, кто должен устанавливать правила на быстрорастущем рынке.

Вашингтон против Пекина

После заявлений технологических компаний к дискуссии подключились политики. И здесь вопрос безопасности ИИ оказался тесно связан с глобальной технологической конкуренцией.

Председатель КНР Си Цзиньпин 12 сентября заявил, что Китай намерен играть ведущую роль в сотрудничестве и развитии искусственного интеллекта среди развивающихся стран. МИД КНР отверг предупреждения о глобальной опасности технологии и заявил, что ее развитие служит благим целям. По мнению китайской стороны, распространение сценариев угроз и недобросовестная конкуренция могут затруднить формирование глобального регулирования ИИ. Президент США Дональд Трамп, напротив, выступил против замедления развития передовых моделей. Он призвал не уступать Китаю технологическое лидерство, подчеркнув значение преимущества США в области ИИ.

Получается принципиальная развилка. С одной стороны, разработчики говорят о необходимости более надежного контроля над технологиями, способными действовать все более самостоятельно. С другой — правительства рассматривают скорость развития ИИ как элемент международной конкуренции, где замедление одной стороны потенциально может изменить расстановку сил.

В России Владимир Путин ранее также неоднократно говорил о необходимости международных договоренностей в сфере регулирования ИИ. По его словам, остановить применение искусственного интеллекта невозможно, поэтому странам необходимо договариваться о минимизации связанных с ним рисков.

Общество тоже требует осторожности

Опасения вокруг ИИ постепенно выходят за пределы профессиональной среды. Согласно опросу NBC News в США, 57% респондентов считают, что риски искусственного интеллекта перевешивают его преимущества. Обратной позиции придерживаются 34% опрошенных. Больше всего людей беспокоит влияние ИИ на рабочие места. Кроме того, недовольство вызывает строительство все большего числа дата-центров.

В итоге вокруг искусственного интеллекта сформировалось сразу несколько линий напряжения. Разработчики пытаются научиться контролировать модели, которые становятся все более самостоятельными. Политики связывают развитие ИИ с технологическим лидерством и международной конкуренцией. Инвесторы оценивают риски для компаний, сделавших на эту технологию крупную ставку. Общество опасается последствий для занятости.

Появление у OpenAI формального механизма раскрытия инцидентов показывает, что проблема уже перестала быть исключительно лабораторной. Компания фактически признает необходимость системного наблюдения за поведением моделей и допускает публикацию информации даже до окончательного понимания причин произошедшего.

При этом единого ответа на вопрос, насколько быстро следует развивать искусственный интеллект, по-прежнему нет. Одни участники отрасли требуют большей осторожности и контроля, другие опасаются, что замедление приведет к потере технологического преимущества. А реальные инциденты с выходом моделей за пределы тестовых сред показывают, что спор о скорости развития ИИ теперь идет не вокруг абстрактного будущего. Он уже касается того, насколько надежно человек способен удерживать под контролем технологию, которую сам же стремится сделать все более самостоятельной.