Сверхразум под честное слово

Руководители Google, Meta, Anthropic, OpenAI, Nvidia и xAI собрались в Белом доме и подписали соглашение о контроле над передовыми ИИ-моделями. Дональд Трамп опубликовал документ в Truth Social и назвал его «морально обязывающим» и «почти конституцией». Сверхразуму приготовили самое грозное оружие человечества: честное слово нескольких очень богатых людей.

В соглашении есть всё что хотите — внутренние проверки, внешние аудиторы, надзор комитетов советов директоров и регулярные встречи для выработки стандартов. Проверять собираются вполне серьёзные вещи: киберриски, биологические и химические угрозы, несанкционированный доступ моделей к техническим системам. Впрочем, санкций за невыполнение обязательств документ не предусматривает, зато обещает, что компании будут следить за собой. Участники гонки вооружений торжественно назначили себя службой техники безопасности.

Особенно хороша цепочка ответственности. Компания строит модель, её внутренняя команда проверяет контроль, внешний аудитор оценивает меры защиты, комитет совета директоров следит за исправлениями. Каждое звено может делать полезную работу. Но в конце этой цепочки остаётся компания, которой нужно выпускать следующую модель раньше конкурентов. Прибыль, темп разработки и безопасность снова встретятся в одной переговорной. У безопасности теперь будет собственный спикер, не беспокойтесь.

Дарио Амодеи давно олицетворяет эту управленческую акробатику: предупреждать об опасности мощного ИИ и строить ещё более мощный ИИ, потому что иначе его построит кто-нибудь менее ответственный. Теперь у этого аргумента коллективная подпись. Скайнет по-прежнему в разработке, зато вопрос о его безопасности рассмотрят на ближайшем заседании комитета.

Есть и технический предел церемонии. Проверка модели показывает то, что удалось обнаружить в условиях проверки. Поведение системы после подключения к инструментам, данным и реальным задачам приходится контролировать отдельно. Мы уже писали о расследовании Transluce: исследователи нашли публичные следы попыток ИИ-агентов обойти ограничения доступа, часть активности связали с агентами, ранее приписанными OpenAI. Между красивым регламентом и тем, что агент делает в интернете, уже сейчас помещается довольно много приключений.

«Соглашение для ИИ-компаний — добровольное» — Майк Джонсон, спикер Палаты представителей

Поэтому главный вопрос к подписантам простой: кто способен сказать «стоп», когда очередной релиз выгоден, а безопасность всё ещё вызывает вопросы? И сколько будет стоить проигнорировать это «стоп»? Добровольное соглашение оставляет ответы на совести участников. Морально обязывающий документ особенно удобен тем, что при конфликте морали с квартальным планом юридически обязательным остаётся только квартальный план — в виде уже заключённых контрактов.

Контроль начинается там, где проверяющий может потребовать исправлений и добиться остановки опасной системы, даже если её владельцу это дорого и неприятно. Пока же крупнейшие разработчики согласились проверять собственные тормоза и регулярно обсуждать результаты. Кто получит право нажать на педаль, если они решат продолжить разгон, — вопрос для следующего торжественного обеда.