Сравнение GPT-5.5, Kimi, DeepSeek и Mistral на практике

Что в ролике
Если вам нужно переключаться между LLM и заранее понимать, где какая модель провалится, этот воркшоп даёт для этого готовый репозиторий с примерами на Python. Памела Фокс из Microsoft разворачивает в Microsoft Foundry четыре модели — GPT-5.5, Kimi K2.6, DeepSeek V4 Flash и Mistral Large 3 — и прогоняет их через одни и те же задания: подсчёт букв, RAG с ограниченным контекстом, распознавание картинок, вызов инструментов и агентный цикл. Уже на первом тесте видны различия: GPT-5.5 и Kimi находят 13 букв E, DeepSeek V4 Flash выдаёт 6, а Mistral — 8, но после промпт-инжиниринга с разбивкой по словам Mistral исправляется. В RAG-задаче с данными только о пчёлах-плотниках Mistral начинает додумывать факты о медоносных пчёлах из своих весов, тогда как остальные честно отвечают, что в источниках этой информации нет. В мультимодальном тесте Mistral путает крокодилов с аллигаторами и вместо самого дешёвого растения за 58 центов называет вариант за 2,30 доллара, а DeepSeek вообще не принимает изображения. Для агента-турагента GPT-5.5 выполняет поиск рейсов и отелей параллельно и укладывается в минимальное число вызовов, Kimi и DeepSeek не параллелят и делают лишние шаги, а Mistral вовсе забывает финальный шаг с активностями. Фокс также показывает, как автоматизировать такие проверки: от простого сравнения строк до LLM-судьи и нового инструмента Assert, который генерирует тестовые сценарии и рубрики по YAML-спеке, а в финале — как DSPy за 6 минут подбирает промпт, который заставляет Mistral справляться с задачей. Помимо этого, она отмечает, что у Anthropic API отдельный формат вызовов и встроенные цитаты для RAG, а для локальных моделей достаточно переключить примеры на llama-сервер.
Практика
- Что получишь
- Научитесь быстро проверять, как разные LLM справляются с вашей задачей, и получите готовые примеры кода для RAG, вызова инструментов, агентов и оценок.
- Первый шаг
- Склонируйте репозиторий из слайда, создайте .env по ссылке с экрана и запустите первый пример с подсчётом букв через uv run.
- Цифры
- —13 — столько букв E в тестовой фразе; DeepSeek V4 Flash насчитал 6, Mistral — 8
- —58 центов — цена самого дешёвого растения в таблице, которую Mistral не нашёл, выдав вариант за 2,30 доллара
- —4 вызова инструментов — столько понадобилось DeepSeek для математической задачи, где GPT-5.5 справился за 1
- —600 долларов — бюджет в задаче travel-агента на перелёт из Сан-Франциско в Нью-Йорк на 3 ночи
- Честно
- Памела Фокс — сотрудник Microsoft, и воркшоп строится вокруг Microsoft Foundry, Azure AI и инструмента Assert от Microsoft Research; это часть демонстрации возможностей платформы. Доступ к развёрнутым моделям выдан через временные ключи в .env с ограниченным лимитом токенов, и ведущая предупреждает, что ключи скоро отзовёт. Ссылки на репозиторий и файл окружения показываются на экране, в транскрипте их нет, поэтому для повторения нужно смотреть видео.
Если слова незнакомы — 7 терминов
- LLMбольшая языковая модель
- RAGпоиск ответа по заранее переданным источникам, чтобы модель не додумывала
- промпт-инжинирингподбор формулировок задания, чтобы модель дала нужный результат
- мультимодальныймодель, которая принимает не только текст, но и изображения
- агентный циклповторяющиеся вызовы инструментов моделью до достижения результата
- параллельный вызов инструментовкогда модель предлагает выполнить несколько независимых функций одновременно
- LLM-судьяиспользование языковой модели для оценки ответов другой модели
Понадобится экран
Часть информации есть только на экране (код в терминале). Открыть на YouTube с 0:27.
Связки из этого ролика
7 шт.- Python + UV + Microsoft Foundry
- OpenAI SDK + Foundry
- LangChain + Foundry
- Pydantic AI + Foundry
- DSPy + Jeppa
- Azure AI Evaluation SDK
- OpenAI evals
Компоненты
22 шт.Цитаты-доказательства
дословно из субтитровФормат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник