OpenRouter: тихий маршрутизатор ломает качество моделей

Что в ролике
Если ваша модель через OpenRouter стала отвечать короче и «глупее», дело обычно не в квантовании, а в том, что роутер выбирает самого дешёвого провайдера. OpenRouter не запускает модели сам, а пересылает запросы одному из примерно 50 провайдеров и забирает 5,5% комиссии, при этом по умолчанию сортирует их по цене с квадратичным весом — провайдер за $1 за миллион токенов выбирается в 9 раз чаще, чем за $3. Автор проверил 335 эндпоинтов для 27 открытых моделей и обнаружил, что 54 из них отдают 4-битные версии, ещё 120 помечены как «unknown», но лаборатории сами выпускают модели в 4 битах, например Moonshot Kimi K3 и OpenAI GPTo 120B. Гораздо важнее скрытые ограничения: Novita даёт Llama 3.3 70B только 12 288 токенов контекста вместо 131 072 у Meta, а Together ограничивает вывод всего 248 токенами. Из-за этого модель обрывает рассуждение на середине и возвращает сырой ответ, хотя веса в порядке. OpenRouter частично исправил это режимом AutoExacto для вызовов инструментов, снизив ошибки GLM5 на 88%, но он активен только для 15% запросов с инструментами, а остальные 85% продолжают идти через лотерею по цене. Ещё роутер игнорирует кэш-цены: DeepSeek попадает на 94,5% кэша, но роутер ставит его на 10-е место, что, по оценке исследователя Таруна Читры, обходится пользователям в $3,5 млн в год.
Практика
- Что получишь
- Понимание, как проверить и закрепить конкретного провайдера в OpenRouter, чтобы не платить за урезанные ответы.
- Первый шаг
- Откройте Activity Log в OpenRouter, найдите последний плохой ответ и посмотрите, какой провайдер его обслужил.
- Цифры
- —335 — столько эндпоинтов для 27 открытых моделей нашёл автор в API OpenRouter
- —88% — на столько снизились ошибки вызова инструментов у GLM5 после включения AutoExacto (с 8% до 1%)
- —$3,5 млн в год — столько, по оценке Таруна Читры, пользователи переплачивали из-за того, что роутер игнорирует кэш-цены
- —94,5% — доля кэш-попаданий у собственного эндпоинта DeepSeek против 51–69% у сторонних провайдеров
- Честно
- Автор не продаёт курс и не использует партнёрские ссылки, но в конце просит подписаться на канал. Точные JSON-поля и имена провайдеров видны только на экране, в пересказе они не приведены дословно. Некоторые числа, например 248 токенов у Together, стоит перепроверить в интерфейсе.
Если слова незнакомы — 6 терминов
- квантованиеснижение точности чисел в модели для экономии памяти и ускорения
- эндпоинтконкретная точка доступа к модели на сервере провайдера
- провайдеркомпания, которая физически запускает модель и принимает запросы
- токенединица текста, которую модель читает или пишет, примерно часть слова
- контекстобъём текста, который модель может держать в памяти во время запроса
- кэшповторное использование ранее обработанного текста со скидкой
Компоненты
11 шт.Формат: разбор · для практикующих · уверенность разметки 0.88 · источник