Восемь лет на полной мощности. GPU об этом ещё не знают

В экономике ИИ-гиперскейлеров спрятано довольно смелое техническое предположение: дорогие ускорители Nvidia будут годами работать с загрузкой, близкой к 100%, и успеют вернуть вложенные в них деньги. Сначала на это отводили три года, затем горизонт растянулся до пяти-шести, теперь обсуждаются семь-восемь лет эксплуатации. Для финансовой модели разница огромная. У фронтирных поколений чипов есть одна вполне ожидаемая особенность: они ещё столько не прожили.

Бухгалтерский календарь уже успел заметно удлиниться. Alphabet с 2021 года увеличила расчётный срок службы серверов с трёх до четырёх лет, а с 2023-го — до шести. CoreWeave тогда же перевела вычислительное оборудование дата-центров с пяти на шесть лет. Это категории оборудования, которые шире одних GPU, но направление хорошо видно. Следующую ступень обозначил представитель Lambda Мэтт Роу: «Мы все считаем, что семь-восемь лет возможны». Возможные годы эксплуатации уже участвуют в сегодняшнем споре об окупаемости.

У оптимистов есть содержательный аргумент: старые ускорители продолжают пользоваться спросом. Остаточная стоимость зависит от заложенных закупочных цен и возраста оборудования, но сам рынок явно отказывается списывать предыдущие поколения по короткому бухгалтерскому расписанию. Исправный старый GPU способен приносить деньги. Только цена, которую сегодня дают за исправную карту, ничего не обещает о её состоянии через несколько лет непрерывной работы.

И здесь заканчивается удобная аналогия с привычной серверной инфраструктурой. Для новых поколений ещё невозможно накопить пяти- или восьмилетнюю историю эксплуатации: с момента их появления прошло меньше времени. В исследовании системы Delta с A100 и H100 собрали 11,7 млн GPU-часов за 2,5 года наблюдений. Это серьёзный массив полевых данных об ошибках и надёжности. Но даже миллионы часов, набранные множеством устройств параллельно, не показывают, что происходит с конкретным поколением на седьмом году жизни. Старение нельзя измерить простым увеличением числа отслеживаемых карт.

Эксплуатационная статистика уже показывает, что обслуживание такого парка — отдельная статья экономики. При обучении Llama 3 405B на 16 384 H100 за 54 дня Meta зафиксировала 419 незапланированных прерываний: 148 связали с неисправностями GPU, ещё 72 — с памятью HBM3. Из этих чисел нельзя получить дату массовой смерти ускорителей: прерывание задачи и окончательное списание карты — разные события. Зато за ними вполне осязаемые расходы на диагностику, замену, резерв оборудования и восстановление работы. В инференсе сбои можно локализовать иначе, чем в одном гигантском обучающем запуске, но обслуживание и запасные мощности всё равно кто-то оплачивает.

Длинный срок службы особенно важен для обещания дешёвого инференса — выполнения запросов к уже обученным моделям. Стоимость покупки ускорителя распределяется на все полезные часы его работы. Если в расчёт заложили восемь лет, а оборудование отработало четыре при той же загрузке, капитальные затраты на каждый такой час удваиваются. Сверху остаются электричество, охлаждение, сеть, обслуживание и финансирование. Недозагрузка дополнительно сокращает число часов, на которые можно разнести первоначальный счёт. Продление амортизации улучшает отчётность сразу; однако реальные дополнительные годы выручки ещё предстоит доказанно получить.

Если в расчёт заложили восемь лет, а оборудование отработало четыре при той же загрузке, капитальные затраты на каждый такой час удваиваются.

Мы уже писали о двух календарях дата-центра: здание служит долго, вычислительное оборудование теряет конкурентоспособность гораздо быстрее. К этому добавляется физический календарь ускорителей. Старым чипам охотно находят новую роль: фронтирное обучение уходит на следующее поколение, предыдущее продолжает обслуживать запросы. Вся эта красивая лестница предполагает, что нижние ступени сохранят работоспособность с приемлемой стоимостью ремонта и замены.

Если ставка на долгую работу под высокой нагрузкой не сойдётся, последствия разойдутся далеко за пределы ремонтных служб. Операторам придётся раньше покупать замену, пересматривать стоимость активов и искать деньги при ещё не окупившемся предыдущем парке. Для оборудования, которое одновременно служит залогом по кредитам, это дополнительная проблема. Поставщикам инференса останется повышать цены, принимать меньшую маржу или снова просить инвесторов оплатить разницу. При масштабе нынешней стройки одна общая ошибка в оценке срока службы становится риском для мировой экономики инференса.

Гиперскейлеры уже принимают многолетние обязательства так, будто необходимая долговечность ускорителей установлена. Уверенность растёт быстрее, чем возраст самого железа. В финансовой модели эти восемь лет уже отработаны. Железу ещё предстоит.