Триллионы токенов за чужой счёт

В статье об экономике открытых весов мы разбирали оценку почти в миллиард долларов: столько стоило бы повторение учтённых обучающих прогонов моделей на Hugging Face. Подготовка данных в этот миллиард не вошла. Между тем на той же площадке лежит ещё один огромный запас уже проделанной работы — открытые корпуса для обучения. Кто-то извлёк текст, убрал мусор и повторы, проверил фильтры на экспериментальных моделях и выложил результат. Следующая команда может начать с готового корпуса, пропустив эту часть расходов.

Масштаб хорошо виден даже по нескольким проектам Hugging Face. Англоязычный FineWeb первоначально содержал 15 трлн токенов и занимал 44 ТБ; нынешняя карточка сообщает уже о более чем 18,5 трлн токенов. Многоязычный FineWeb2 — около 20 ТБ, 5 млрд документов и больше тысячи языков. Ещё примерно 3 трлн токенов в 475 млн документов даёт FinePDFs: текст из PDF на 1733 языках. В каждом случае речь о подготовленных данных, которые можно скачать и включить в собственный обучающий конвейер.

За пределами этой линейки есть, например, Dolma от Allen Institute for AI — около 3 трлн токенов из веба, научных публикаций, кода и других источников. А проект DCLM предоставляет исходный пул в 240 трлн токенов для экспериментов с отбором данных. Между таким пулом и отфильтрованным обучающим корпусом лежит значительная работа. Экономическая ценность возникает на нескольких этажах: собрать исходники, извлечь пригодный текст, отобрать материал и проверить, что модель действительно лучше на нём учится.

У этой проверки вполне материальный счёт. В отчёте о FineWeb авторы описывают около 80 тысяч H100-часов на обучение более 70 экспериментальных моделей. Если для наглядности считать по $4 за GPU-час, получится около $320 тысяч только на эти эксперименты. Применение классификатора образовательного качества к 15 трлн токенов потребовало ещё примерно 6 тысяч H100-часов — $24 тысячи при той же условной ставке. Сюда ещё предстоит добавить CPU-обработку, хранение, разработку и труд команды. Уже два раскрытых компонента дают представление о цене рецепта, который достаётся следующему пользователю вместе с данными.

«Мы применили классификатор к 15 трлн токенов FineWeb — этот процесс потребовал 6000 H100-часов». — Команда FineWeb

Открытые корпуса позволяют собирать следующий продукт из результатов нескольких команд. Zyphra выпустила Zyda-2 — примерно 5 трлн токенов, полученных из DCLM, FineWeb-Edu, Zyda-1 и веб-части Dolma. Авторы провели межкорпусную дедупликацию, затем дополнительно отфильтровали. По технической статье, межкорпусный этап убрал около 11% исходных токенов. Поэтому общий объём доступных данных требует учёта пересечений: одни и те же страницы Common Crawl могут приехать в несколько репозиториев разными дорогами. При этом каждый удачный способ обработки добавляет к общему исходному материалу самостоятельную ценность.

Для Zyda-2 есть и ориентир стоимости следующего шага. В описании работы с NVIDIA NeMo Curator Zyphra оценивает обработку примерно в двое суток на восьми GPU-узлах вместо трёх недель на восьми CPU-узлах. Если взять описанную конфигурацию с восемью H100 на узел, это 3072 GPU-часа. По условным $4 за час одного ускорителя — около $12,3 тысячи GPU-эквивалента; полный счёт зависит от тарифа узлов и сопутствующей инфраструктуры. Такой расчёт показывает цену дополнительного прохода поверх уже подготовленных чужих корпусов. В него унаследована работа всех предыдущих участников цепочки.

Здесь и обнаруживается накопительный эффект открытых данных. Одна команда оплачивает исследование фильтров, другая использует её классификатор, третья объединяет корпуса и удаляет пересечения, четвёртая собирает набор для конкретного языка или предметной области. Вместе с файлами переходят код обработки и результаты экспериментов. У новой лаборатории появляется возможность тратить бюджет на собственный исследовательский вопрос, а уже проверенные решения брать готовыми. Особенно ценно это там, где бюджет позволяет провести несколько обучающих запусков, а десятки сравнительных экспериментов пришлось бы вычеркнуть из плана.

Денежную оценку такого фонда разумно строить по стоимости воспроизведения: какие операции уже выполнены, сколько вычислений и труда они потребовали, что из этого экономит следующий пользователь. Права на исходные тексты при этом остаются отдельной статьёй учёта — расходы на обработку сами по себе их не покупают. Но оплаченная инженерная работа никуда не исчезает. Миллиард в открытых весах стоит на фундаменте данных, у которого тоже есть цена. И каждый новый эксперимент на готовом корпусе снова использует этот фундамент, не заставляя следующую команду оплачивать его строительство целиком.