К содержимому
Дайджест

Синтетика на 12 трлн токенов: уроки инженерии

AI Engineer·2 октября 2026·20:32
текст даёт основное можно повторить промо
Открыть на YouTube
Технический доклад для ML-инженеров и тимлидов, которые строят пайплайны генерации синтетических данных для предобучения больших моделей.

Что в ролике

Если вы готовите предобучение модели и упираетесь в нехватку данных, доклад Богдана Газы из DatologyAI показывает, как инженерно собрать синтетический датасет на 12 триллионов токенов. Компания продаёт курирование данных и свой рецепт Beyond Web: он не просит модель придумывать данные с нуля, а перефразирует и переструктурирует самые качественные документы из датасета заказчика, что позволяет достичь той же точности на в 2,7 и 5,3 раза меньшем числе токенов, чем Neotron Synth и Cosmopedia соответственно. Доклад посвящён инженерным урокам запуска: сначала нужно решить проблему метаданных, потому что миллионы parquet-файлов в S3 при одиночных запросах забивают Ray и дают 9–11 дней ожидания, а батчинг по 1000 запросов сокращает это до двух часов. Вторая проблема — нестабильность GPU: восьмичасовой job на ноде может упасть за пять минут до конца, поэтому автор советует чекпоинтить промежуточные результаты и подбирать размер партиций, чтобы после сбоя не терять прогресс. Третий урок — оркестрация между кластерами: Spark и Ray запускаются в разных пулах CPU/GPU, и если планировать их ресурсы по отдельности, возникает классическая задача упаковки, которую решают выделенные пулы и атомарное планирование. Наконец, тюнинг параметров инференса для VLM и SGLang дал компании прирост пропускной способности на 40% без смены железа. В итоге в конце 2024 года они генерировали только 30 миллиардов токенов, а к концу прошлого года — 7 триллионов для веба и 5 триллионов для математики и кода.

Практика

Что получишь
Понимание четырёх главных узких мест при генерации синтетических данных триллионного масштаба и конкретных приёмов, как ускорить S3-метаданные, пережить падения GPU, спланировать CPU/GPU и разогнать инференс.
Первый шаг
Начните с аудита метаданных вашего датасета: посчитайте, сколько запросов к S3 делает ваш Ray-кластер, и переведите их в батчи по 1000.
Цифры
  • —12 триллионов токенов — суммарный объём сгенерированных синтетических данных: 7 трлн для веба и 5 трлн для математики и кода
  • —9–11 дней до 2 часов — насколько быстрее собирать метаданные из S3 после перехода на батчи по 1000 запросов
  • —40% — прирост пропускной способности инференса после тюнинга параметров VLM и SGLang
  • —2,7 и 5,3 раза — во столько меньше токенов понадобилось рецепту Beyond Web для той же точности по сравнению с Neotron Synth и Cosmopedia
Честно
Автор — CEO DatologyAI и прямо продвигает услуги компании: курирование данных и рецепт Beyond Web. В открытом доступе нет кода или готового пайплайна, все цифры (2,7x, 40% и т.д.) — из внутренних замеров, графики показаны только на слайдах. Доклад заканчивается приглашением на найм, так что часть материала — рекрутинговая презентация.
Если слова незнакомы — 6 терминов

Связки из этого ролика

2 шт.

Компоненты

9 шт.

Формат: разбор кейса · для продвинутых · уверенность разметки 0.9 · источник