Локальный ИИ в Windows: Copilot, Llama CPP, RTX Spark

Что в ролике
Если вы ждали, когда локальный запуск моделей станет частью обычной Windows, а не уделом энтузиастов, — Microsoft на мероприятии показала первые шаги в эту сторону. В демо GitHub Copilot агент отправил 1,6 млн токенов в модель, работающую на ноутбуке, и счёт был нулевым, потому что обработка шла локально. Новый режим auto в Copilot умеет выбирать не только облачную модель, но и локальную: простую задачу отправили на Microsoft AI Code Flash 1.1, а сложный разбор issues сначала планировал облачный OpenAI-модель, затем три подагента читали код локально, и почти все токены (1,6 млн входных и около 10 тыс выходных) прошли через локальную модель. Microsoft называет это гибридным интеллектом или intelligent routing, и в Copilot это появится 15 октября. Для локального запуска показали три модели: Microsoft AI Code Flash 1.1 (3 бита, минус 80% размера, контекст 256k), Neotron (2 бита, 20 ГБ памяти) и DeepSeek 4 (1,6 бита, 60 ГБ), причём автор сомневается, что такие кванты сохранят качество для кода и tool calls. В Windows ML встроили Llama CPP, что даёт совместимость с GGUF-квантами и открытыми моделями сразу после выхода, без ожидания упаковки от Microsoft. Для безопасности агентов ввели Microsoft Execution Containers (MXC) — песочницу, где действия приписываются агенту, а не пользователю, и можно запретить агенту действие, оставив доступ себе. Железо — первые ноутбуки с RTX Spark (до 128 ГБ unified memory, GPU уровня RTX 5070, от $2600), и автор считает, что вместе с Nvidia Microsoft делает локальный ИИ нормой.
Практика
- Что получишь
- Поймёте, как устроен гибридный роутинг Copilot, какие локальные модели Microsoft готовит для Windows и на что обратить внимание перед покупкой RTX Spark.
- Первый шаг
- Если хотите попробовать после 15 октября, обновите GitHub Copilot и в настройках модели выберите auto — тогда он сам решит, что отправить локально, а что в облако.
- Цифры
- —1,6 млн токенов — столько входных токенов прошло через локальную модель в демо Copilot, и счёт за это был нулевым
- —80% — на столько уменьшился размер модели Microsoft AI Code Flash 1.1 после сжатия до 3 бит
- —15 октября — дата, когда гибридный роутинг появится в GitHub Copilot
- —$2600 — стартовая цена ноутбука с RTX Spark (до 128 ГБ unified memory)
- Честно
- Автор не продвигает собственный продукт, но это обзор с его личными оценками, а не официальное руководство. Поведение роутера при ошибке локальной модели на презентации не показали, и пока неясно, можно ли подключить собственную модель в Copilot или только выбранные Microsoft. Все цифры по производительности (уровень RTX 5070) взяты из стороннего обзора, а не из официальных тестов.
Если слова незнакомы — 6 терминов
- токенединица текста, которую модель обрабатывает; примерно слово или часть слова
- квантсжатая версия модели с пониженной точностью чисел, например 3 бита вместо 16
- GGUFформат файла для запуска моделей на локальных машинах, поддерживаемый Llama CPP
- unified memoryобщая память, доступная и CPU, и GPU одновременно
- CUDAтехнология Nvidia для вычислений на GPU
- tool callsвызовы инструментов агентом, например запрос к API или запуск команды
Связки из этого ролика
3 шт.- Llama CPP + Windows ML
- GitHub Copilot + local models + cloud models
- RTX Spark + CUDA + Windows
Компоненты
10 шт.Формат: реакция на новость · для практикующих · уверенность разметки 0.9 · источник