2B-модель Liquid: видит, слышит и отвечает вслух

Что в ролике
Liquid AI выпустила 27 октября открытую модель LFM3 Omni2B на 2,2 млрд параметров, которая совмещает распознавание речи, зрение, языковую модель и синтез голоса в одном весе. Видео подаётся по два кадра в секунду с тайм-кодом и звуком этого момента, поэтому модель слышит и видит одно и то же событие; на собственном тесте Liquid по видео со звуком она набрала около 70 баллов против 61 у Qwen Omni на 10,7 млрд параметров. В примере кода Python видео по умолчанию идёт без звука, пока не включишь два флага, а окно контекста 32 000 токенов заставляет для длинных роликов снижать частоту кадров, но звук при этом остаётся полным. Модель выигрывает именно на видео со звуком среди протестированных Liquid соперников, хотя Qwen 3B в таблице указан как 6 млрд параметров, а Gemma 4E2B как 5 млрд, тогда как у Liquid всего 2,2 млрд. При этом на OmniBBench (картинка плюс аудио) она чуть уступает обеим Qwen Omni, а озвучивание вопроса на MMAR снижает точность с 56 до 52 баллов, то есть разговор голосом отнимает около 4 пунктов. Самый заметный провал — вызов инструментов по голосу: на внутреннем тесте Liquid модель набрала 52 балла против 72 у Gemma 4E4B, и режима reasoning у неё нет. Запускать её можно в llama app (картинка и звук, на MacOS/Windows), в LM Studio только картинка, а живой разговор с инструментами — только через сервер llama cpp, при этом реальная загрузка Omni через Ollama весит 2,4 ГБ до контекста, и нужен от 8 ГБ памяти или GPU. Коммерческое использование бесплатно до дохода 10 млн долларов в год на всю группу компаний, дальше нужна отдельная лицензия, о чём в анонсе Liquid не упоминает.
Практика
- Что получишь
- Понять, где 2,2B-модель LFM3 Omni2B реально обходит более крупных конкурентов, а где отстаёт на 20 пунктов, и выбрать подходящее приложение или сервер для запуска под свои задачи.
- Первый шаг
- Начать с запуска сервера llama cpp с моделью Omni и проверки на собственной записи, чтобы увидеть, как модель слышит и видит одновременно.
- Цифры
- —70 против 61 — результат LFM3 Omni2B и Qwen Omni на 10,7 млрд параметров в собственном тесте Liquid по видео со звуком
- —52 против 72 — баллы LFM3 Omni2B и Gemma 4E4B за вызов инструментов по голосу на внутреннем тесте Liquid
- —2,4 ГБ — размер загрузки Omni через Ollama до контекста, а не 1 ГБ из анонса
- —10 млн долларов — годовой доход всей группы компаний, до которого коммерческое использование бесплатно
- Честно
- Автор в середине просит подписаться на канал и вступить в платное сообщество Stack, где показывает свой продакшн-воркфлоу; это не влияет на технические выводы, но промо в ролике есть. Команда для запуска llama cpp показана только на экране, поэтому для повторения живой голосовой связки её придётся пересматривать в видео. Все сравнительные цифры — собственные прогоны Liquid, независимых тестов на момент запуска не было, а в анонсе про ограничение лицензии не сказано.
Если слова незнакомы — 4 терминов
- параметрыобучаемые коэффициенты модели; чем их больше, тем модель обычно сильнее, но тяжелее для запуска
- токенединица текста или медиа, на которые модель делит входные данные
- контекстобъём входных данных, который модель может держать в памяти одновременно
- reasoningрежим пошаговых рассуждений перед ответом, которого у этой модели нет
Компоненты
6 шт.Формат: обзор · для практикующих · уверенность разметки 0.92 · источник