Локальный AI: почему лаборатории боятся открытых моделей

Что в ролике
Ахмед и Дэвид обсуждают, почему большие лаборатории не заинтересованы в continual learning и персонализации: им выгоднее обучать модели под среднего пользователя, а локально можно держать модель под свои задачи. Дэвид показывает ODS — систему развёртывания локального AI от Osmantic, которая одной командой ставит всё нужное на Windows, Mac и Linux, сама выбирает модель и настраивает инференс. На ноутбуке с RTX Spark (128 ГБ unified memory) запущена Qwen 3,8 Flash Next на 180 миллиардов параметров с 4-битным квантованием, и она выдаёт до 72 токенов в секунду при декодировании. Этого хватает, чтобы прямо локально, без интернета, агент в ODS сгенерировал браузерную RPG с левел-апами и навыками, а также управлял настройками Windows, эквалайзером наушников и документами. Гость и автор считают, что будущее гибридное: облачные frontier-модели нужны для сложных задач, но 95% пользовательских задач закроет локальная модель, и её нельзя будет отнять, заквантовать или замедлить. Они также обсуждают безопасность: любые сторонние модели и агенты стоит запускать в песочницах, а корпорациям — разделять данные и использовать маскирование, чтобы не отдавать интеллектуальную собственность облаку. По железу: автор советует новичкам брать Nvidia из-за зрелого CUDA-экосистемы, а цены на GPU растут из-за дефицита, при этом DGX Spark подорожал с 3900 до 7000 долларов.
Практика
- Что получишь
- Поймёте, почему локальные модели выгодны и как запустить их без сложной настройки через ODS. Увидите, что 180-миллиардная модель может работать на портативном железе и закрывать большинство задач без подписки.
- Первый шаг
- Установить ODS одной командой с GitHub и посмотреть, какую модель она сама подберёт для вашего компьютера.
- Цифры
- —72 токена в секунду — скорость декодирования у Qwen 3,8 Flash Next на RTX Spark в ODS
- —180 миллиардов параметров — размер модели Qwen 3,8 Flash Next, работающей локально в 4-битном виде
- —128 ГБ — объём unified memory у Asus Pro Art с RTX Spark
- —7 000 долларов — столько стоил DGX Spark на момент записи, хотя раньше он был 3 900 долларов
- Честно
- Дэвид продвигает собственные проекты ODS (от Osmantic) и Cloud Room, в середине — спонсорская реклама Code Rabbit, а в начале он зовёт на хакатон Google Gemma через свой Discord. Сам ODS открыт под Apache 2.0, но оптимизированная сборка под RTX Spark и корпоративная версия с маскированием данных могут требовать отдельных условий. Демонстрация в основном визуальная: команды, кроме одной команды установки, в транскрипте не приводятся.
Если слова незнакомы — 5 терминов
- инференсвыполнение модели — генерация ответа на основе обученных весов
- квантованиесжатие модели за счёт снижения точности чисел, чтобы она занимала меньше памяти
- frontier-моделисамые передовые облачные модели вроде GPT-6 или Claude, доступные по API
- unified memoryобщая память, доступная и процессору, и видеокарте, как в Apple Silicon
- токенединица текста, которую модель обрабатывает; скорость измеряется в токенах в секунду
Связки из этого ролика
2 шт.- ODS + NVIDIA RTX Spark + Qwen 3.8 Flash Next
- local AI + unified memory
Компоненты
8 шт.Формат: интервью · для практикующих · уверенность разметки 0.9 · источник