Китайская Kimmy K3.1: бенчмарки и 3D-лошадь

Что в ролике
Китайская Moonshot выпустила открытую модель Kimmy K3.1 на 3 триллиона параметров, которую обещают полностью выложить для скачивания 4 ноября. До этого анонимная модель Kibitz на Chatbot Arena показывала уровень frontier, и все сразу заподозрили Moonshot. Свежие бенчмарки выглядят неожиданно сильно: в Terminal Bench 4,0 модель отстаёт от Opus 5,5 всего на один пункт, а независимый замер Artificial Analysis дал 67% — лучший результат среди всех протестированных. В тесте S Marathon, рассчитанном на многочасовые требования к софту, Kimmy тоже лидирует. Чтобы избежать блокировок, Moonshot специально вырезала из обучения данные по кибербезопасности: внутренний нефильтрованный чекпоинт решал 90,5% эксплойт-тестов, а финальная версия — только 81%. Для проверки автор использует собственный субъективный бенчмарк Thoroughbench, где просит модель создать реалистичную 3D-лошадь на ThreeJS. Kimmy K3.1 выдает красивую модель, но анимация сделана простым искажением меша, без костей, за что получает 4,20 балла — ниже Opus с его 6,39 и скелетной анимацией из 95 тысяч вершин и 35 костей. В конце автор рекламирует спонсора Mobin, чей MCP-сервер позволяет агенту изучать библиотеку из 600 тысяч реальных UI-экранов перед генерацией интерфейса.
Практика
- Что получишь
- Понимание, почему результаты Kimmy K3.1 могут зависеть от харнесса, и реальную оценку её возможностей на примере генерации 3D-графики.
- Первый шаг
- Дождаться 4 ноября, скачать модель с сайта Moonshot и прогнать её на своих задачах, либо сразу оплатить доступ за 250 юаней в месяц.
- Цифры
- —3 трлн параметров — заявленный размер Kimmy K3.1, модель обещают выложить 4 ноября
- —67% — наивысший балл в независимом замере Artificial Analysis среди всех протестированных моделей
- —90,5% и 81% — доля решённых эксплойт-тестов у нефильтрованного чекпоинта и финальной версии соответственно
- —4,20 из 10 — оценка Kimmy K3.1 в субъективном бенчмарке Thoroughbench за 3D-лошадь
- Честно
- Автор открыто рекламирует Mobin и даёт партнёрскую ссылку со скидкой 20%, это спонсор выпуска. Бесплатный тариф Kimmy ему не дали, пришлось платить 250 юаней в месяц. Бенчмарк Thoroughbench — субъективная оценка автора, а не стандартный тест, и визуальные результаты лошади видны только на экране, в тексте их не передать.
Если слова незнакомы — 4 терминов
- бенчмаркстандартизированный тест для сравнения моделей между собой
- чекпоинтсохранённое состояние модели на определённом этапе обучения
- мештрёхмерная сетка из вершин и граней, из которой состоит 3D-объект
- MCP-серверспособ подключить внешние данные и инструменты к ассистенту или агенту
Связки из этого ролика
1 шт.- Three.js
Компоненты
10 шт.Формат: реакция на новость · для практикующих · уверенность разметки 0.85 · источник