Синтетика на 12 трлн токенов: уроки инженерии

Что в ролике
Если вы готовите предобучение модели и упираетесь в нехватку данных, доклад Богдана Газы из DatologyAI показывает, как инженерно собрать синтетический датасет на 12 триллионов токенов. Компания продаёт курирование данных и свой рецепт Beyond Web: он не просит модель придумывать данные с нуля, а перефразирует и переструктурирует самые качественные документы из датасета заказчика, что позволяет достичь той же точности на в 2,7 и 5,3 раза меньшем числе токенов, чем Neotron Synth и Cosmopedia соответственно. Доклад посвящён инженерным урокам запуска: сначала нужно решить проблему метаданных, потому что миллионы parquet-файлов в S3 при одиночных запросах забивают Ray и дают 9–11 дней ожидания, а батчинг по 1000 запросов сокращает это до двух часов. Вторая проблема — нестабильность GPU: восьмичасовой job на ноде может упасть за пять минут до конца, поэтому автор советует чекпоинтить промежуточные результаты и подбирать размер партиций, чтобы после сбоя не терять прогресс. Третий урок — оркестрация между кластерами: Spark и Ray запускаются в разных пулах CPU/GPU, и если планировать их ресурсы по отдельности, возникает классическая задача упаковки, которую решают выделенные пулы и атомарное планирование. Наконец, тюнинг параметров инференса для VLM и SGLang дал компании прирост пропускной способности на 40% без смены железа. В итоге в конце 2024 года они генерировали только 30 миллиардов токенов, а к концу прошлого года — 7 триллионов для веба и 5 триллионов для математики и кода.
Практика
- Что получишь
- Понимание четырёх главных узких мест при генерации синтетических данных триллионного масштаба и конкретных приёмов, как ускорить S3-метаданные, пережить падения GPU, спланировать CPU/GPU и разогнать инференс.
- Первый шаг
- Начните с аудита метаданных вашего датасета: посчитайте, сколько запросов к S3 делает ваш Ray-кластер, и переведите их в батчи по 1000.
- Цифры
- —12 триллионов токенов — суммарный объём сгенерированных синтетических данных: 7 трлн для веба и 5 трлн для математики и кода
- —9–11 дней до 2 часов — насколько быстрее собирать метаданные из S3 после перехода на батчи по 1000 запросов
- —40% — прирост пропускной способности инференса после тюнинга параметров VLM и SGLang
- —2,7 и 5,3 раза — во столько меньше токенов понадобилось рецепту Beyond Web для той же точности по сравнению с Neotron Synth и Cosmopedia
- Честно
- Автор — CEO DatologyAI и прямо продвигает услуги компании: курирование данных и рецепт Beyond Web. В открытом доступе нет кода или готового пайплайна, все цифры (2,7x, 40% и т.д.) — из внутренних замеров, графики показаны только на слайдах. Доклад заканчивается приглашением на найм, так что часть материала — рекрутинговая презентация.
Если слова незнакомы — 6 терминов
- Rayплатформа для распределённых вычислений на Python, часто для инференса и обучения
- Sparkдвижок для распределённой обработки больших данных
- parquetстолбцовый формат файлов, в котором обычно хранят большие таблицы и датасеты
- S3объектное хранилище Amazon, где лежат файлы датасетов
- VLMбиблиотека для быстрого инференса больших языковых моделей, часто пишется vLLM
- SGLangещё один движок для инференса LLM с фокусом на производительность
Связки из этого ролика
2 шт.- Kubernetes + Ray + Spark + S3
- AWS HyperPod with EKS
Компоненты
9 шт.Формат: разбор кейса · для продвинутых · уверенность разметки 0.9 · источник