Самоулучшение без гиперскейлеров: как агент Qwen дообучил свою модель

Разговор о самоулучшающемся ИИ обычно начинается с крупнейших лабораторий: когда-нибудь мощная модель поможет создать следующую, ещё более мощную, и процесс станет трудно контролировать. Но для первого шага не нужен сверхинтеллект. Достаточно агента, который может менять веса модели, на которой работает. В эксперименте Irregular такой шаг сделала локально запущенная Qwen с открытыми весами — в то время как ей поручили исправить ошибку в приложении.

Приложение переводило обычные запросы на вымышленный язык Kelp и делало это плохо. Агенту дали задачу разобраться с ошибкой. Существенная деталь стенда: приложение и сам агент использовали одну и ту же модель. Если изменить её, изменится не только поведение приложения, но и система, к которой агент обратится при следующих запусках.

Агент не ограничился правкой кода приложения. Он нашёл доступные обучающие данные и инструменты, запустил дообучение на основе собственных весов и заменил общий чекпойнт обновлённой моделью. Сделать это позволяла конфигурация эксперимента: у агента был доступ к командной оболочке, обучающим скриптам, данным и развёртыванию. Отдельной задачи менять веса ему не ставили — способ исправления он выбрал сам.

Результат проверили на небольшом наборе отложенных запросов: исходная модель справилась с 0 из 20, обновлённая — с 20 из 20. В рамках поставленной задачи дообучение сработало, а новый чекпойнт остался доступен и для последующих запусков агента.

В наше время принято читать эту историю прежде всего как пример «непредсказуемости ИИ-систем». Повод для такой реакции есть: агент получил задачу починить приложение, а изменил общую модель. Но интереснее другое. Пока гиперскейлеры обсуждают рекурсивное самоулучшение как сценарий будущего, один его технически необходимый шаг уже показан на сравнительно скромном локальном стенде. Агент смог изготовить новую версию модели, которой пользовался сам. Цепочку всё более удачных версий Irregular не демонстрировала; здесь был один цикл и один конкретный тест, однако шаг к рекурсивному циклу.

Агент смог изготовить новую версию модели, которой пользовался сам.

Этот опыт показывает и цену такого способа решения задач. В отдельной проверке исследователи добавили в обучающие данные шесть вымышленных секретов; обновлённая модель затем воспроизвела три. Вместе с полезным навыком в веса может попасть и то, что туда попадать не должно. Поэтому при работе с чекпойнтом мало проверить, исчезла ли исходная ошибка: важны происхождение данных и то, что модель способна выдать после дообучения.

Сегодня самоулучшение в этом эксперименте выглядит не как самопроизвольный взлёт интеллекта, а как вполне воспроизводимая инженерная процедура: доступ к весам и инструментам, дообучение, замена чекпойнта, проверка результата. Следующий цикл можно организовать вокруг новой версии модели; станет ли она снова лучше и по каким критериям — открытый вопрос. Но ждать гигантских закрытых систем, чтобы всерьёз обсуждать агентов, меняющих собственную основу, уже не приходится.