К содержимому
Дайджест

Локальный AI: почему лаборатории боятся открытых моделей

David Ondrej·20 октября 2026·95:40
текст даёт основное мнение промо
Открыть на YouTube
Разговор с экспертом по локальному AI о том, почему открытые модели выгоднее облачных, как их запускать на своём железе и что для этого нужно.

Что в ролике

Ахмед и Дэвид обсуждают, почему большие лаборатории не заинтересованы в continual learning и персонализации: им выгоднее обучать модели под среднего пользователя, а локально можно держать модель под свои задачи. Дэвид показывает ODS — систему развёртывания локального AI от Osmantic, которая одной командой ставит всё нужное на Windows, Mac и Linux, сама выбирает модель и настраивает инференс. На ноутбуке с RTX Spark (128 ГБ unified memory) запущена Qwen 3,8 Flash Next на 180 миллиардов параметров с 4-битным квантованием, и она выдаёт до 72 токенов в секунду при декодировании. Этого хватает, чтобы прямо локально, без интернета, агент в ODS сгенерировал браузерную RPG с левел-апами и навыками, а также управлял настройками Windows, эквалайзером наушников и документами. Гость и автор считают, что будущее гибридное: облачные frontier-модели нужны для сложных задач, но 95% пользовательских задач закроет локальная модель, и её нельзя будет отнять, заквантовать или замедлить. Они также обсуждают безопасность: любые сторонние модели и агенты стоит запускать в песочницах, а корпорациям — разделять данные и использовать маскирование, чтобы не отдавать интеллектуальную собственность облаку. По железу: автор советует новичкам брать Nvidia из-за зрелого CUDA-экосистемы, а цены на GPU растут из-за дефицита, при этом DGX Spark подорожал с 3900 до 7000 долларов.

Практика

Что получишь
Поймёте, почему локальные модели выгодны и как запустить их без сложной настройки через ODS. Увидите, что 180-миллиардная модель может работать на портативном железе и закрывать большинство задач без подписки.
Первый шаг
Установить ODS одной командой с GitHub и посмотреть, какую модель она сама подберёт для вашего компьютера.
Цифры
  • —72 токена в секунду — скорость декодирования у Qwen 3,8 Flash Next на RTX Spark в ODS
  • —180 миллиардов параметров — размер модели Qwen 3,8 Flash Next, работающей локально в 4-битном виде
  • —128 ГБ — объём unified memory у Asus Pro Art с RTX Spark
  • —7 000 долларов — столько стоил DGX Spark на момент записи, хотя раньше он был 3 900 долларов
Честно
Дэвид продвигает собственные проекты ODS (от Osmantic) и Cloud Room, в середине — спонсорская реклама Code Rabbit, а в начале он зовёт на хакатон Google Gemma через свой Discord. Сам ODS открыт под Apache 2.0, но оптимизированная сборка под RTX Spark и корпоративная версия с маскированием данных могут требовать отдельных условий. Демонстрация в основном визуальная: команды, кроме одной команды установки, в транскрипте не приводятся.
Если слова незнакомы — 5 терминов

Связки из этого ролика

2 шт.

Компоненты

8 шт.

Формат: интервью · для практикующих · уверенность разметки 0.9 · источник