К содержимому
Дайджест

Токены против байтов: что скрывает ваш счёт за API

Kai·30 октября 2026·23:33
текст даёт основное понять, как устроено
Открыть на YouTube
Подробный разбор того, что такое токены, почему исследователи предлагают перейти на байты и как это влияет на стоимость API, для разработчиков и всех, кто платит за языковые модели.

Что в ролике

Если ваш счёт за API вырос после обновления модели без видимых причин, причина может быть в токенизаторе: тот же текст стал давать в 1–1,35 раза больше токенов, как это случилось с автором, когда счёт подскочил на 20%. Токены — это обходной путь: токенизатор режет текст на куски из огромного словаря, у Llama 3 это 128 256 записей, почти 29% параметров модели, а для разных языков правила неравномерны, и один и тот же смысл может стоить до 15 раз дороже. В сентябрьской статье Meta «Breaking the Token Ceiling» сравнили модели, читающие токены, сырые байты и байты с маркером конца токена; по подгонке кривых байтовая модель обещает потолок 52,4% против 48,4% у токеновой, но реальные чекпоинты различаются лишь на 0,2 пункта, и для обещанного преимущества нужно в 7,6 раза больше вычислений. Главная проблема байтовых моделей — инференс: каждый байт требует полного прохода по модели, что даёт в 3,9 раза больше чтений весов и сокращает полезный контекст в 5 раз при том же размере окна. Более ранняя работа BLT решает это, группируя байты в патчи по росту непредсказуемости, и добивается 99,9% на тесте правописания при почти вдвое меньших затратах на инференс, но быстрого рантайма для неё до сих пор нет. Вторая крупная работа, HNet от Cartesia, использует иерархию: дешёвые слои читают каждый байт, а дорогая сеть видит уже выученные чанки длиной 7,6 байта, что даёт 10-кратную экономию данных по сравнению с Small LM 3 (1 трлн против 11,1 трлн токенов) при той же стоимости на байт. Автор советует считать реальную цену как стоимость за мегабайт текста, потому что токенизатор может незаметно менять счёт, и подчёркивает: конец токенов касается только словаря и правил, а вычислительный шаг никуда не делся.

Практика

Что получишь
Понимание, почему счёт за API может меняться без изменения модели, и простой способ вычислять реальную стоимость за мегабайт текста, чтобы сравнивать провайдеров и обновления.
Первый шаг
Соберите недельный лог API, сложите все байты отправленных и полученных текстов и разделите итоговый счёт на это число — это ваша фактическая цена за мегабайт.
Цифры
  • —1–1,35 раза — во столько выросло количество токенов на тот же текст после обновления Claude Opus с новым токенизатором
  • —3,9 раза — во столько больше чтений весов делает байтовая модель из статьи Meta, чтобы выдать тот же объём текста, что и токеновая
  • —10-кратная экономия данных — HNet достиг уровня Small LM 3, обучившись на 1 трлн токенов вместо 11,1 трлн
  • —99,9% против 1,1% — результаты BLT и Llama 3 на тесте правописания на уровне символов
Честно
Автор не рекламирует свои продукты, но рассказывает о работе Cartesia HNet, веса которой ещё не выложены, и о статье Meta, где веса не опубликованы. Некоторые цифры в заголовках — прогнозы по подогнанным кривым, а не фактические замеры: реальная разница между моделями Meta составила 0,2 пункта, а не заявленные 4. Для BLT быстрого готового рантайма нет, поэтому попробовать её в бою сейчас нельзя.
Если слова незнакомы — 3 терминов

Компоненты

14 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник