Открытые модели проигрывают в долгих задачах кодинга

Что в ролике
При коротких задачах открытые модели вроде Kimi K3, Qwen и GLM показывают бенчмарки на уровне GPT-6 Astra и Claude Opus, например в Terminal Bench, и стоят заметно дешевле. Но в длинных агентных процессах с кодом они теряют внимание к правилам: Kimi K3 постоянно пыталась менять read-only PRD и застревала на правках, требуя больше итераций. Автор прогнал контролируемый тест через свою AI Software Factory, где каждая модель собирала видеоигру Northstar. Связка Claude (Opus для планирования и ревью, Sonnet как исполнитель) закрыла 12 из 12 тикетов за 14 часов и 255 долларов. Связка OpenAI (GPT-6 Astra плюс Soul) сделала 11 из 12 за двойное время и 635 долларов. Kimi K3 добралась только до 5 из 12 тикетов за 44 часа и 180 долларов, то есть 36 долларов за тикет против 21 у Claude. Слепое код-ревью оценило кодовую базу Claude на 8 из 10, OpenAI на 7, Kimi на 6, но решение автора — смешивать модели: Opus для планирования и ревью, а Kimi как исполнитель, что дало эквивалентные результаты чистому Opus и снизило стоимость сложных задач более чем вдвое.
Практика
- Что получишь
- Понимание, почему открытые модели вроде Kimi K3 дёшевы для коротких задач, но ненадёжны для длинных агентных пайплайнов, и как сэкономить, используя их только как исполнитель под контролем модели-планировщика.
- Первый шаг
- Собрать в своём агенте две модели: Opus для планирования и ревью, а Kimi K3 для реализации кода.
- Цифры
- —12 из 12 тикетов — столько закрыл Claude за 14 часов, единственный из трёх полностью закончил игру
- —5 из 12 тикетов — столько закрыла Kimi K3 за 44 часа, застряв на правках
- —$21 против $36 — стоимость одного тикета у Claude против Kimi, из-за итераций дешёвая модель оказалась дороже
- —8, 7 и 6 из 10 — оценки слепого код-ревью для Claude, OpenAI и Kimi соответственно
- Честно
- Ролик спонсирован Triple 10 (TripleTen) — программами для senior-инженеров; автор зовёт подписываться, но это обзор собственного опыта, а не готовая инструкция. Конкретная настройка AI Software Factory в видео не раскрыта, детальные инструкции автор обещает в следующих роликах.
Если слова незнакомы — 5 терминов
- open-weight моделимодели с открытыми весами, которые можно запускать на своих мощностях
- тикетзадача в системе управления проектом
- PRDдокумент требований к продукту (product requirements document)
- агентный процессработа, которую программа-агент выполняет в несколько шагов с автономными решениями
- слепое код-ревьюпроверка кода отдельным агентом без знания, какая модель его написала
Связки из этого ролика
3 шт.- Claude Opus 5.5 + Claude Sonnet 5.5
- GPT-6 Astra + GPT-6.1 Soul
- Claude Opus 5.5 + Kimi K3.1 Pro
Компоненты
8 шт.Формат: разбор кейса · для практикующих · уверенность разметки 0.9 · источник