К содержимому
Дайджест

Как укротить галлюцинации LLM в продакшене

Rob Braxman Tech Deep Dive·2 октября 2026·17:09
текст даёт основное понять, как устроено
Открыть на YouTube
Разбор причин галлюцинаций LLM и практических способов сделать локальные AI-агенты предсказуемыми — для тех, кто строит рабочие процессы на локальных моделях.

Что в ролике

Если вы строите рабочий процесс на локальном LLM и устали от выдуманных ответов, автор предлагает не бороться с галлюцинациями до нуля, а сделать их предсказуемыми и неразрушительными. Он объясняет, что трансформер не хранит факты, а лишь предсказывает следующий токен на основе вероятностных «концептуальных кластеров» из обучающих данных, поэтому модель физически не умеет отвечать «не знаю» и в пробелах выдумывает. Наиболее рискованные темы — спортивные счета, цены, курсы валют и любые события после даты отсечения, например 1 июня 2024 для модели GPT-OSS-120B. В своём продакшене на машине со 128 ГБ unified RAM он использует GPT-OSS-120B для рассуждений и Qwen 3.6 35B для программирования, требуя от них не гениальности, а предсказуемости обученного сотрудника. Практические меры: подключить поиск в интернете через Brave Search API, добавить локальную базу знаний через RAG с бесплатной моделью Nomic Embed Text, а также классификатор запросов, который решает, когда нужен вызов инструмента. Главный трюк — разрешить агенту отвечать «нет ответа», если фактические инструменты не дали прямых доказательств, что останавливает цепочку ошибок. Автор предупреждает, что это не устраняет галлюцинации на 100%, и автоответчик на почту без тестирования может привести к взлому.

Практика

Что получишь
Понять, почему LLM выдумывает, и получить набор конкретных мер — поиск в интернете, RAG, классификатор и разрешение отвечать «нет ответа», — чтобы сделать локального агента предсказуемым.
Первый шаг
Добавьте в агента вызов веб-поиска, например Brave Search API, и директиву, которая заставляет использовать этот инструмент для фактических вопросов.
Цифры
  • —128 ГБ unified RAM — объём памяти на домашней машине автора, на которой работают локальные модели
  • —120 млрд параметров — размер GPT-OSS-120B, против 2–4 трлн у передовых моделей
  • —1 июня 2024 — дата отсечения знаний модели GPT-OSS-120B, после которой она не знает событий
Честно
Конкретный текст стандартной директивы автор обещает в описании видео, в транскрипте он не продиктован, так что придётся его открыть. Продукт или курс не продвигается, но все советы требуют ручного тестирования на ваших моделях, поскольку 100% гарантии нет, а автоответчик на почту без проверки автор считает опасным.
Если слова незнакомы — 4 терминов

Связки из этого ролика

1 шт.

Компоненты

6 шт.

Формат: разбор · для практикующих · уверенность разметки 0.82 · источник