Облачные модели сами готовят конкурентов для традиционного LLM-инференса

Заметную часть работы генеративных LLM можно описать довольно непритязательно: дорогую модель вызывают, чтобы она выбрала одно действие. Куда отправить тикет, пропустить ли публикацию, какой инструмент дать агенту, насколько релевантен документ. Разработчик просит вернуть JSON, ограничивает варианты, отключает рассуждения — и всё равно покупает генерацию токенов ради атомарного решения. Decision-подобные модели попадают прямо в этот кейс. Для частичного передела рынка им достаточно забрать самые будничные и часто повторяющиеся вызовы.

В нашем материале о Jev мы уже разбирали эту конструкцию: состояние программы плюс типизированные вопросы, на выходе — выбор, оценка или вероятность. Первопроходец метода TypeSafe называет его System One Model. Компания предоставила разработчикам параллельный вывод вероятностей вместо последовательного сочинения ответа. Программе сразу достаётся значение, по которому можно ветвиться. Особенно интересно это там, где такое ветвление происходит миллионы раз, а пользователю вообще нечего читать.

«Jev оценивает все заданные вопросы параллельно и напрямую возвращает типизированные ответы вместе с вероятностями» — Vercel

Следом появились open-weight реализации: Laya и Kev. Устройства у них разные: Laya использует энкодер с отдельной decision head, Kev — адаптеры и pointer head поверх опенсорсной Qwen. Оба проекта позволяют получать ограниченные решения и вероятности напрямую. Это расширяет выбор поставщика до собственного сервера: повторяющийся классификатор можно вынести из чужого генеративного API и обслуживать самостоятельно. Сколько экономии получится после оплаты железа и эксплуатации — вопрос конкретной нагрузки, но возможность такого переезда уже существует.

Теперь тот же продуктовый паттерн появился у крупных поставщиков. Alibaba Cloud предлагает decision-model-preview с System One API для классификации, оценивания и решений «да/нет» — среди сценариев маршрутизация тикетов, модерация и выбор действий агента. OpenAI на DevDay 2026 анонсировала Decisions API: Luna отвечает на заданные разработчиком вопросы с конечным набором вариантов, получая текстовый или визуальный контекст. На момент анонса это ограниченное превью. Общая архитектура из этих анонсов не следует, зато общий рынок виден прекрасно: машинным потребителям предлагают отдельный дешёвый интерфейс для коротких решений.

Ценовой ориентир TypeSafe звучит вызывающе: $0,042 за миллион входных токенов, бесплатный выход и заявленная задержка 70–500 миллисекунд. При таких цифрах экономический механизм понятен и без обещания победить LLM на любом тесте. Если узкий вызов удерживает нужное качество при меньшей цене и задержке, его логично переключить. Считать придётся стоимость пригодного решения: с учётом ошибок, повторных запросов и эскалации сложных случаев более сильной модели.

Каннибализация рынка облачного инференса здесь может идти двумя путями. Первый — прямой: decision-модель забирает вызов классификации, ранжирования или проверки, который раньше обслуживала генеративная LLM. Второй — через маршрутизацию: дешёвый слой решает, какой модели вообще стоит поручать задачу. В примере на AWS Builder Jev классифицирует запрос, код выбирает модель, а она уже пишет ответ. Это демонстрация архитектуры; её коммерческий смысл — сократить долю дорогих вызовов при приемлемом качестве всей системы. Один маленький классификатор способен влиять на бюджет гораздо большего потока.

Классификаторы, скоринговые модели и маршрутизаторы существовали задолго до Jev. У нынешней волны другая привлекательность: разработчику предлагают задавать вопросы к разнородному текстовому состоянию через привычный API, менять набор вариантов и использовать одну модель для нескольких видов решений. Универсальные LLM стали удобным способом быстро собрать такую логику. Decision-модели претендуют на следующую стадию её жизни: когда прототип заработал, объём вырос и платить за универсальность на каждом шаге стало накладно.

Отдельной количественной оценки того, сколько облачного LLM-инференса уже перетекло именно в Jev-подобные сервисы, в доступной аналитике пока не накоплено, однако уже очевидно, что битва будет грязной, особенно это касается рынка дорогих моделей облачных гиперскейлеров.

Если клиент переходит с дорогого генеративного на дешёвый decision API внутри того же облака, провайдер сохраняет клиента, но получает меньше выручки с прежнего набора задач. Одновременно могут снизиться и вычислительные затраты провайдера, поскольку decision-модели дёшевы в первую очередь для него самого — поэтому падение чека само по себе ещё ничего не говорит о марже. Однако, если клиент запускает открытые веса на собственном железе, облако может потерять такую нагрузку целиком. Если он арендует GPU у того же провайдера, деньги остаются, но уже в другой строке счёта при гораздо меньшей загрузке мощностей. Число решений, объём вычислений и выручка облачного инференса начнут расходиться.

Удешевление способно также и расширить рынок. Когда решение стоит мало и приходит быстро, его начинают вызывать там, где раньше хватало грубой эвристики: чаще проверять результаты агента, оценивать больше кандидатов, фильтровать каждый шаг процесса. Тогда дорогая генерация уступает часть существующих задач, а общий объём машинных решений растёт. Решающий вопрос для облачного бизнеса — компенсируют ли новые вызовы снижение цены старых. Миллиард дешёвых решений может выглядеть впечатляюще в статистике использования и гораздо скромнее в выручке.

Поэтому появление таких API у Alibaba и OpenAI — вполне рациональная попытка возглавить собственную каннибализацию. Удерживать каждую классификацию на универсальной LLM трудно, когда рядом появляется специализированный сервис и возможность скачать веса. Наиболее естественный кандидат на переезд — массовый слой коротких решений, который сегодня прячется внутри генеративного инференса. Какая-то его часть останется у больших моделей из-за требований к качеству и сложности контекста. Но остальной придётся заново доказать, зачем ему оплаченная способность писать прозу. Облачные сервисы уже приготовили покупателю более дешёвый ответ.