Миллиард долларов, который не нужно тратить заново

У открытых моделей появился занятный общий ценник. Проект Томаса Вольфа Hub Dollars оценивает вычисления, затраченные на обучение 75 официальных семейств моделей на Hugging Face, примерно в $991 млн. Столько стоила бы аренда GPU для повторения учтённых обучающих прогонов. Результаты этой работы доступны для скачивания — вместе с возможностью поставить поверх них собственный эксперимент.

Счётчик устроен довольно сдержанно: он учитывает финальные прогоны предобучения и постобучения основных семейств. За пределами расчёта остаются зарплаты, подготовка данных, неудачные запуски и около 900 тысяч пользовательских дообученных моделей. Примерно половина центральной оценки опирается на опубликованные разработчиками данные о вычислениях, остальное рассчитано по характеристикам моделей. Получившийся миллиард хорошо передаёт масштаб уже проделанной работы; полная стоимость её воспроизведения была бы заведомо выше.

Для исследователя здесь важнее всего возможность начать с места, до которого чужая лаборатория уже дошла за большие деньги. У готовой модели можно изучать внутренние представления, менять веса, продолжать её обучение, проверять методы обучения с подкреплением или использовать её для дистилляции — переноса навыков в другую модель. Каждая такая работа получает в наследство уже проделанную другими группами работу. Небольшой команде остаётся оплатить свой эксперимент, а необходимость сначала построить собственную базовую модель просто исчезает.

Модели Qwen на 27 млрд параметров уже вполне обжились в роли лабораторного субстрата. Например, в работе о дистилляции для задач биологии Qwen3.5-27B входит в набор моделей, на которых исследователи проверяют дообучение с использованием инструментов и биологических свидетельств. Это характерный способ обращения с открытой моделью: берётся готовый достаточно сильный чекпойнт, к нему применяется новый метод, затем измеряется результат. Научный вопрос можно исследовать без предварительной заявки на бюджет собственной Alibaba.

Мы уже писали об эксперименте Irregular, где агент на Qwen, исправляя ошибку приложения, дообучил общую с ним модель и заменил чекпойнт для будущих запусков. На небольшом отложенном наборе результат изменился с 0 из 20 до 20 из 20. Вся конструкция держалась на вполне материальной возможности добраться до весов, запустить обучение и проверить изменённую систему. Открытая модель позволила собрать стенд для исследования самоизменения агента локально, без ожидания милости от крупнейших лабораторий.

Есть и накопительный эффект. Вокруг доступного чекпойнта могут появляться независимые методы дообучения, инструменты анализа, адаптеры, датасеты и способы ускорения. Следующая команда получает уже более удобную исследовательскую среду. Общая модель даёт ещё и точку сравнения: можно пробовать разные подходы на одной основе и разбираться, что именно дало улучшение. Так одна дорогая тренировка становится основанием для множества работ, которых её авторы даже не планировали.

«Википедия написана часами волонтёрского труда. Общее достояние эпохи ИИ записано в GPU-часах и данных», — Томас Вольф

В разговорах об ИИ миллиарды обычно фигурируют как входной билет: столько нужно привлечь, потратить на чипы, вложить в дата-центр. Здесь виден другой экономический сюжет — уже оплаченные вычисления продолжают работать в руках открытого сообщества исследователей и банально в локальном инференсе. Поэтому вклад открытых весов стоит оценивать и по тому, сколько самостоятельных исследований они делают возможными. Миллиард в счётчике — внушительное начало. Дальше начинается работа, которой в этом счётчике ещё нет.