К содержимому
Дайджест

Сравнение GPT-5.5, Kimi, DeepSeek и Mistral на практике

AI Engineer·19 октября 2026·51:38
нужен экран можно повторить пошагово
Открыть на YouTube
Запись воркшопа Памелы Фокс (Microsoft) для AI-инженеров, которые хотят понять различия между топовыми LLM и научиться оценивать их под свои задачи.

Что в ролике

Если вам нужно переключаться между LLM и заранее понимать, где какая модель провалится, этот воркшоп даёт для этого готовый репозиторий с примерами на Python. Памела Фокс из Microsoft разворачивает в Microsoft Foundry четыре модели — GPT-5.5, Kimi K2.6, DeepSeek V4 Flash и Mistral Large 3 — и прогоняет их через одни и те же задания: подсчёт букв, RAG с ограниченным контекстом, распознавание картинок, вызов инструментов и агентный цикл. Уже на первом тесте видны различия: GPT-5.5 и Kimi находят 13 букв E, DeepSeek V4 Flash выдаёт 6, а Mistral — 8, но после промпт-инжиниринга с разбивкой по словам Mistral исправляется. В RAG-задаче с данными только о пчёлах-плотниках Mistral начинает додумывать факты о медоносных пчёлах из своих весов, тогда как остальные честно отвечают, что в источниках этой информации нет. В мультимодальном тесте Mistral путает крокодилов с аллигаторами и вместо самого дешёвого растения за 58 центов называет вариант за 2,30 доллара, а DeepSeek вообще не принимает изображения. Для агента-турагента GPT-5.5 выполняет поиск рейсов и отелей параллельно и укладывается в минимальное число вызовов, Kimi и DeepSeek не параллелят и делают лишние шаги, а Mistral вовсе забывает финальный шаг с активностями. Фокс также показывает, как автоматизировать такие проверки: от простого сравнения строк до LLM-судьи и нового инструмента Assert, который генерирует тестовые сценарии и рубрики по YAML-спеке, а в финале — как DSPy за 6 минут подбирает промпт, который заставляет Mistral справляться с задачей. Помимо этого, она отмечает, что у Anthropic API отдельный формат вызовов и встроенные цитаты для RAG, а для локальных моделей достаточно переключить примеры на llama-сервер.

Практика

Что получишь
Научитесь быстро проверять, как разные LLM справляются с вашей задачей, и получите готовые примеры кода для RAG, вызова инструментов, агентов и оценок.
Первый шаг
Склонируйте репозиторий из слайда, создайте .env по ссылке с экрана и запустите первый пример с подсчётом букв через uv run.
Цифры
  • —13 — столько букв E в тестовой фразе; DeepSeek V4 Flash насчитал 6, Mistral — 8
  • —58 центов — цена самого дешёвого растения в таблице, которую Mistral не нашёл, выдав вариант за 2,30 доллара
  • —4 вызова инструментов — столько понадобилось DeepSeek для математической задачи, где GPT-5.5 справился за 1
  • —600 долларов — бюджет в задаче travel-агента на перелёт из Сан-Франциско в Нью-Йорк на 3 ночи
Честно
Памела Фокс — сотрудник Microsoft, и воркшоп строится вокруг Microsoft Foundry, Azure AI и инструмента Assert от Microsoft Research; это часть демонстрации возможностей платформы. Доступ к развёрнутым моделям выдан через временные ключи в .env с ограниченным лимитом токенов, и ведущая предупреждает, что ключи скоро отзовёт. Ссылки на репозиторий и файл окружения показываются на экране, в транскрипте их нет, поэтому для повторения нужно смотреть видео.
Если слова незнакомы — 7 терминов

Понадобится экран

Часть информации есть только на экране (код в терминале). Открыть на YouTube с 0:27.

Связки из этого ролика

7 шт.

Компоненты

22 шт.

Цитаты-доказательства

дословно из субтитров

Формат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник