Бенчмарк растёт. Сверхразум опять торопится

В твиттере снова близится рекурсивное самоулучшение искусственного интеллекта — RSI. На этот раз поводом стала способность языковой модели редактировать веса другой нейросети. Логика пересказа стремительная: ИИ умеет чинить ИИ, значит, скоро начнёт делать себя всё умнее, а дальше только держитесь. Между этими событиями помещается почти вся исследовательская задача. Но в ленте её удобно заменяют стрелкой «повторить».

Повод действительно интересный. В Sparks of Weight-Space Programming исследователи MIT CSAIL показали, как GPT-6 Astra анализирует и напрямую меняет веса нейросетей. Самый эффектный результат — правка маленькой Qwen3.5-0.8B: изменение 0,016% параметров подняло результат на математическом тесте MATH-500 с 7,9% до 48,1%. Следование инструкциям на IFEval тоже улучшилось — втрое. Градиентного обучения для этого не использовали.

Что произошло внутри? Qwen была склонна застревать в повторяющихся рассуждениях — проблема отмечалась даже в её собственной карточке. Astra нашла способ подавить зацикливание через правку весов. Модель стала чаще добираться до ответа, и результаты выросли сразу на нескольких тестах. Это полезный ремонт: если программа перестала зависать, она выполнит больше заданий. Шестикратный скачок балла сам по себе ещё ничего не говорит о появлении шестикратно более сильных математических способностей.

Причём «редактирование весов рассуждением» здесь включало вполне материальную работу. В опыте с Qwen агенту дали учебные задачи GSM8K и MATH, возможность писать и запускать код на python и ограниченное число пробных запусков модели. В варианте с лимитом 50 прямых проходов поиск занял 158 диалоговых ходов и 80 запусков python. Тестовые наборы агенту не показывали; перенос на следование инструкциям тоже заслуживает внимания. Получился содержательный эксперимент по диагностике и ремонту модели. Объявлять его бенчмарк-читерством было бы столь же лениво, как объявлять началом взлёта сверхразума.

Для RSI требуется следующий этаж доказательства. Улучшенная система должна сама становиться более способной производить дальнейшие улучшения, а затем демонстрировать это в следующих циклах. Здесь сильная внешняя модель исправляет гораздо более слабую. Ни способности исправленной Qwen продолжить работу Astra, ни последовательности всё более удачных самоизменений эксперимент не показывает. Цикл «предложить варианты — измерить — оставить лучший — повторить» десятилетиями используется в оптимизации. Добавление LLM в одну из его коробочек не создаёт автоматически самоускоряющийся рост интеллекта.

А вот бенчмаксинг устроен гораздо прозаичнее: выжать максимум из выбранного показателя. Можно подбирать данные, настройки, награды и варианты модели, каждый раз сверяясь с одной таблицей. Узкий навык при этом действительно способен улучшиться. Но постепенно разработчик обучает всю процедуру попадать в конкретную мишень, а оценка теряет независимость. Даже без прямого доступа к тестовым ответам многократный отбор по одному экзамену позволяет подстроиться под его особенности. Именно поэтому в профессиональной оценке бенчмаксинг считается вредной практикой: он портит измерительный прибор, по которому затем объявляют прогресс.

Ни способности исправленной Qwen продолжить работу Astra, ни последовательности всё более удачных самоизменений эксперимент не показывает.

Предельный случай давно воспроизведён экспериментально. В работе с небольшими BART, T5 и GPT-2 модели специально дообучали на публичных тестовых наборах: целевые результаты росли, а на сопоставимых незнакомых тестах обнаруживалось слабое обобщение. Мы уже разбирали родственную проблему в материале «Модели сдают тест на IQ. Шпаргалки проверить забыли». Балл можно разогнать, не сделав модель умнее в том общем смысле, который читателю продают вместе с таблицей. Вред здесь вполне практический: выбирают неподходящие модели, направляют ресурсы на обслуживание рейтинга и пропускают слабости за пределами знакомого экзамена.

И для такого разгона LLM вовсе не обязательна. Перебирать варианты, запускать проверку и сохранять лучший результат умеет обычный код. Узкие способности подтягиваются стандартным дообучением на специально подобранном датасете, в том числе синтетическом. Для множества таких задач это гораздо проще, чем поручать большой языковой модели вручную исследовать чужие параметры. У Astra может быть отдельная ценность как у инструмента поиска причин поломки. Тогда возникает нормальный инженерный вопрос: сколько стоит такой ремонт и как он выглядит рядом с обычными методами на тех же данных и при сопоставимом бюджете? Прямого сравнения с таким baseline в описанном опыте нет.

Различить полезное улучшение и обслуживание таблички позволяют новые независимые задачи, проверка побочных ухудшений и воспроизводимость. Для заявления о RSI понадобится ещё и цепочка, в которой растёт способность самой системы проводить следующий раунд исследований. Всё это существенно сложнее, чем поднять знакомую цифру. Починенный баг уже заслуживает публикации. Сверхразуму придётся предъявить собственные результаты.