К содержимому
Дайджест

Tone-Bench: бенчмарк против ИИ-слопа

AI Engineer·22 октября 2026·19:02
текст даёт основное понять, как устроено промо
Открыть на YouTube
Запись доклада Луи-Франсуа Бушара о бенчмарке Tone-Bench, который оценивает, насколько языковые модели умеют писать живой текст в заданном авторском тоне.

Что в ролике

Если вас раздражают слова-паразиты вроде delve, общие фразы и безликий тон в сгенерированных текстах, этот доклад предлагает не очередную жалобу, а способ измерить проблему. Автор выделяет шесть признаков слопа: переиспользованные слова, обобщённость, пустые фразы, повторы, галлюцинации и неправильный или отсутствующий тон. Для измерения он представил Tone-Bench: 10 реальных задач по написанию видеосценариев, в которых модель получает развёрнутый бриф и исследование, а затем генерирует пять черновиков. Каждый черновик оценивают четыре LLM-судьи по девяти метрикам, сгруппированным в тон, качество письма, следование инструкциям, точность исследования и уровень слопа. Промпт для судьи содержит около 14 000 слов и требует сначала выбрать категорию, а потом поставить оценку, чтобы снизить нестабильность качественных суждений. По предварительным выводам GLM 5,3 flash оказывается в 50 раз дешевле лучшего Opus 5,5 extra high при схожих результатах, а практичнее искать модель, которая меньше всего раздражает при правках. Для повторения автор советует максимально длинный промпт с примерами, одну-три итерации с высокоинтеллектуальным судьёй и генерацию десяти дешёвых черновиков с последующей сборкой лучших частей. Бенчмарк уже опубликован и открыт, но он субъективен: измеряет, насколько модель пишет в тоне самого автора.

Практика

Что получишь
Понимание, из чего складывается слоп и как устроен практичный бенчмарк для оценки творческого письма, а также готовые приёмы: длинный промпт, итерации с судьёй и сборка лучших черновиков.
Первый шаг
Собрать один подробный промпт с примерами своих текстов и прогнать через него несколько моделей, сверяясь с рубриками Tone-Bench.
Цифры
  • —500 часов — столько ушло у команды на подготовку 10 сценариев, рубрик и примеров для Tone-Bench
  • —120 моделей — столько прогнали через бенчмарк, генерируя по 5 черновиков на 10 задач
  • —14 000 слов — примерный объём инструкции, которую получает LLM-судья для оценки одного сценария
  • —в 50 раз дешевле — настолько GLM 5,3 flash дешевле Opus 5,5 extra high при близких, по оценке автора, результатах
Честно
Это доклад от команды Towards AI, и автор прямо предлагает помощь с построением собственных eval-пайплайнов, так что это частично промо его компании. Бенчмарк субъективен: он оценивает, насколько модель пишет в личном тоне автора, а не универсально лучший текст; часть проверки построена на LLM-судьях, у которых есть сдвиг в пользу собственного семейства, и лишь 1 000 пар сравнивали вручную. Полные промпты и рубрики лежат на сайте бенчмарка, в самом выступлении показаны только фрагменты.
Если слова незнакомы — 5 терминов

Компоненты

8 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.85 · источник