Маленькая модель обошла Opus 4.6 на финансовых задачах

Что в ролике
Команда Ramp Labs не ждёт новых фронтир-моделей, а выжимает скорость и стоимость уже сейчас: за год число LLM-сценариев внутри Ramp выросло на 123%, при этом юнит-экономика становится дешевле за счёт более быстрых и дешёвых моделей. В 2023 году агентов приходилось строить с жёсткими ограничениями, без thinking tokens и с чувствительными промптами, но Ramp всё равно запускала их для финансовых специалистов, а к 2026 году модели стали заметно проще в управлении. Первый пример — специализированная модель для Ramp Sheets: общий spreadsheet-агент стартовал в ноябре, но Opus 4.6 слишком медленно строил план и дорого тратил thinking tokens на изучение множества таблиц. Совместно с Prime Intellect команда посттренировала 35-миллиардную Qwen 3.5 и получила точность выше Opus 4.6 при низкой задержке, оставив фронтир-модель оркестратором. Второй пример — картриджи для KV-кэша: они сжимают до 20–30 раз больше контекста офлайн и за ночь готовят агенту всё нужное для закрытия месяца, чтобы утром он уже знал задачу. Третий пример — агентный map reduce: Ramp Inspect поднял 10 000 параллельных агентов для пентеста всех систем, затем LLM дедуплицировали и воспроизводили найденные проблемы, что дало семь критических уязвимостей. Среди находок была Lua-инъекция через email, где ни один компонент по отдельности не был опасен, а уязвимость собралась только при сквозном анализе нескольких систем; из этих исследований выросли продукты управления токенами и Ramp Router с маршрутизацией.
Практика
- Что получишь
- Понять три рабочих паттерна — специализированная посттренировка, картриджи KV-кэша и агентный map reduce — и увидеть, в каких продуктах Ramp они уже применены.
- Первый шаг
- Начать с открытых весовых моделей на собственном сценарии, сравнив их стоимость и качество с фронтир-моделью на той же задаче.
- Цифры
- —123% — рост числа LLM-сценариев в Ramp за год
- —35 млрд параметров — размер посттренированной Qwen 3.5
- —10 000 параллельных агентов — столько Ramp Inspect поднял для пентеста
- —7 критических уязвимостей — нашли и закрыли
- Честно
- Это корпоративный доклад: автор продвигает продукты Ramp Token Spend Management и Ramp Router, а ссылки на них показаны на экране и в транскрипте не продублированы. Подробных рецептов посттренировки Qwen 3.5 и доступа к Ramp Inspect в выступлении нет, поэтому повторить эксперименты можно лишь частично.
Если слова незнакомы — 10 терминов
- LLMбольшая языковая модель, на которой строят агентов и текстовые продукты
- агентпрограмма, которая сама выполняет задачу по шагам, вызывая модели и инструменты
- промпттекст-инструкция, которую подают модели
- thinking tokensпромежуточные рассуждения модели, которые увеличивают время и стоимость ответа
- фронтир-модельодна из самых передовых коммерческих моделей, обычно дорогая и медленная
- посттренировкадообучение готовой модели на дополнительных данных под конкретную задачу
- KV-кэшкэш промежуточных вычислений, который ускоряет обработку длинного контекста
- картриджитехника сжатия большого контекста в KV-кэш для офлайн-подготовки агента
- оркестраторуправляющая модель, которая решает, какую модель или инструмент вызвать
- агентный map reduceпаттерн, где множество агентов обрабатывают части задачи, а затем результаты сводятся
Связки из этого ролика
4 шт.- KV cache cartridges
- agentic map reduce
- agentic swarms
- LLM
Компоненты
14 шт.Формат: разбор кейса · для продвинутых · уверенность разметки 0.85 · источник