Агент стартует первым. Человек его обходит на длинной дистанции

ИИ-агент умеет производить впечатление в первые минуты работы. Пока человек разбирается в коде, читает документацию и формулирует первую гипотезу, машина уже предлагает изменения, запускает тесты и приносит результат. Из этой скорости легко вывести замечательную кадровую политику: если так хорошо начал, пусть продолжает самостоятельно. Но у длинной работы есть неприятное для продавцов автономности свойство — следующий час может оказаться гораздо менее продуктивным, чем первый. Машина продолжает действовать, а полезный результат почти перестаёт расти.

В исследовании от 21 июля организация METR предлагает измерять эту границу через expenditure horizon — «горизонт расходов». Исследователи сравнивают, сколько улучшений способны получить человек и агент при одинаковом бюджете. Поначалу агент может быть выгоднее: быстро забирает доступные оптимизации и экономит дорогой человеческий труд. Затем его отдача снижается, и человеческая траектория в итоге опережает машинную. Точка пересечения показывает, до какого бюджета автономная работа ещё выдерживает экономическое сравнение с человеком.

Это существенное дополнение к привычным разговорам о горизонте задач. Когда говорят, что модель справляется с работой на несколько человеческих часов, речь обычно идёт о задании с определённым результатом: исправить ошибку, реализовать функцию, пройти проверку. В исследовательской работе финиш устроен иначе. Можно улучшить результат на один процент, затем ещё на один, затем найти более глубокую переделку. Здесь важно, как долго исполнитель способен добывать новые улучшения и сколько стоит каждое из них. Банальная галочка «задача решена» слишком быстро закрывает этот разговор.

Проверить новую метрику METR решила на NanoGPT speedrun — открытом соревновании по ускорению обучения небольшой языковой модели на восьми GPU H100. Требуемое качество задано, а участники меняют реализацию, чтобы достичь его быстрее. Такая задача удобна своей измеримостью: удачная оптимизация сокращает время обучения. Можно сравнивать последовательные результаты и видеть, превращаются ли дополнительные расходы в дополнительный выигрыш. Для индустрии, обещающей автоматизировать исследования самого ИИ, это ещё и проверка по специальности.

Агентов поставили перед уже серьёзно оптимизированным кодом. В качестве отправной точки использовали обучение за 85 секунд, достигнутое в марте 2026 года. Это важная деталь. Написать рабочую первую версию и улучшить систему, над которой уже потрудилось сообщество, — разные по трудности занятия. Во втором случае очевидные решения во многом разобраны, а очередная прибавка требует всё более точного понимания того, где остаются потери.

Агентам выделяли до пяти дней и бюджет до $10 тысяч с учётом обращений к модели и GPU-вычислений. Среди исследованных некоторые модели после перепроверки вообще не показали подтверждённого улучшения. Более сильные модели смогли продвинуться, однако увеличение расходов не обеспечило сопоставимого роста полезного результата. Оценённые горизонты расходов оказались в диапазоне от нуля до примерно $3300. Возможность долго крутить эксперимент сама по себе не сделала его выгодным.

Человеческую сторону сравнения авторы построили по истории вкладов в NanoGPT и интервью с двумя активными участниками проекта. Их оценка — около 16 часов труда на каждый процент улучшения. При условной ставке $150 в час получается примерно $2400. Так появилась базовая человеческая линия: сколько улучшения можно ожидать от данного бюджета, если потратить его на работу специалиста.

Поэтому здесь важно точно понимать устройство результата. METR использует оценку человеческой отдачи по реальной истории проекта, а не соревнование одновременно набранной группы людей с агентами в течение двух недель. Линейность человеческой траектории заложена в приближённый расчёт. Цена труда и оценка затраченных часов влияют на место пересечения кривых: при более дешёвом специалисте преимущество машины заканчивается раньше, при более дорогом — позже. Новая метрика делает эти предпосылки видимыми и позволяет обсуждать их вместе с результатами моделей.

«Горизонт расходов» — точка пересечения кривых: бюджет, при котором люди становятся экономически эффективнее ИИ.

Самый интересный вывод исследования — у автономного агента может быть короткий экономически полезный участок даже при большом техническом запасе времени. Быстро получить первые улучшения и устойчиво улучшать систему дальше — две отдельные способности. После удачного старта агенту приходится находить всё менее очевидные решения, проверять их и выдерживать длинные серии неудач. Каждый такой цикл оплачивается затраченным бюджетом.

Здесь возникает соблазн объяснить всё человеческой интуицией, обучением и способностью обобщать. У этого объяснения есть содержательная основа: специалист по мере работы строит представление о системе, замечает связь между экспериментами, отбрасывает целые семейства бесплодных подходов. Длинная серия попыток может менять его понимание задачи и тем самым повышать ценность следующих попыток. Для агента такое накопление исследовательского опыта — отдельное требование к устройству системы. Само наличие длинного контекста и возможности снова запустить тест ещё не гарантирует, что следующие действия станут умнее.

Однако NanoGPT-эксперимент измеряет прежде всего результат и затраты. Механизм плато — следующий исследовательский вопрос. Оно может зависеть от качества планирования, сохранения выводов, выбора экспериментов, способности проверить собственный успех. Практическая проблема уже ясна: автономность легко масштабирует число действий, а способность добывать новые полезные идеи масштабируется хуже. Брутфорс становится особенно дорогим там, где каждую гипотезу приходится проверять реальным вычислительным экспериментом.

Отсюда вырастает сильный аргумент за связку человека и машины. Агенту можно отдавать быстрый старт: изучение кода, подготовку вариантов, рутинные изменения и первые проверки. Человек получает уже собранный материал и берёт на себя выбор дальнейшего направления, пересмотр предпосылок и решения, требующие более глубокого понимания. Такое разделение использует крутой начальный участок машинной траектории, а затем позволяет продолжить работу за пределами её плато. Превосходство этой связки нужно измерять отдельным сравнением, но исследование METR даёт вполне конкретную причину его проводить.

В материале «Сотрудника уволили. AI оказался дороже?» мы уже разбирали бухгалтерию автономности: зарплата исчезает из одной строки, зато появляются вычисления, интеграция, проверки и устранение ошибок. NanoGPT добавляет к этому ещё один расход — продолжение работы после исчерпания продуктивных ходов. Самостоятельный агент в теории может работать круглосуточно. Счёт за эту самостоятельность тоже приходит круглосуточно. Теперь у этого оборота появляется измеримый вопрос: где закончилась отдача от очередного доллара?

Для компаний это меняет логику внедрения. Вместо покупки абстрактного «цифрового сотрудника» появляется задача определить полезный участок его работы и момент передачи человеку. Такой момент будет разным для разных моделей, задач, ставок оплаты и стоимости вычислений. Его придётся искать по всей траектории результата, включая проверку и неудачные попытки. Демонстрация первых десяти минут слишком удобна для презентации и слишком коротка для решения об увольнениях.

METR предлагает смотреть на агентность там, где заканчивается эффектный старт и начинается дорогая дистанция. В эксперименте протестированные агенты нашли улучшения, но их экономическое преимущество оказалось ограниченным. Это оставляет человеку содержательную роль: продолжать исследование, когда доступные машинные ходы уже перестали окупаться. Хороший автономный работник должен уметь превращать дополнительный бюджет в дополнительный результат. Пока вместо этого растёт преимущественно счёт, передачу задачи человеку несомненно следует считать частью эффективной системы.