Баги в спецификации: как AWS проверяет её до AI-агента

Что в ролике
Если вы передаёте кодинг-агенту спецификацию, противоречивые правила могут испортить код ещё до написания. Инженер AWS из группы автоматизированного рассуждения показывает инструмент Keto Specification Analyzer: он находит конфликты и пробелы в текстовых требованиях до генерации кода. Пример из электронной коммерции: одно правило разрешает оформлять заказ как back order при недоступном складе, а другое запрещает любые back order — по отдельности оба логичны, но вместе невыполнимы. По данным исследований, нечёткие промпты снижают точность генерации на 20–40%, а 60–90% синтаксически валидного кода всё равно содержат логические ошибки, что ведёт к удвоению регрессий. Метод трёхшаговый: LLM сначала сам пытается уточнить формулировку, если не выходит — переводит правила на язык SMT-формул, а SAT-решатель проверяет их на выполнимость и возвращает булево значение. При обнаружении неоднозначности система просит модель пересмотреть предложение, а затем делает 7 или 10 повторных переводов, кластеризует их по логической эквивалентности и оставляет решение человеку: убрать правило, изменить его или воздержаться от реализации. Отдельно различаются конфликт, когда два правила противоречат друг другу, и пробел, когда нет правила для ситуации вроде простоя заказа, а для расплывчатого «удалить запись» инструмент предлагает явные варианты: полное удаление или скрытие от пользователей. Спикер подчёркивает, что оракула корректности не существует: только пользователь с доменными знаниями может гарантировать смысл, а инструмент лишь помогает, поэтому проверять спецификацию нужно до запуска агента.
Практика
- Что получишь
- Схему трёхшаговой проверки требований: LLM уточняет формулировку, SMT-решатель проверяет выполнимость, человек принимает окончательное решение. Также понимание, что нечёткие спецификации могут удвоить число регрессий в сгенерированном коде.
- Первый шаг
- Перечитать свою спецификацию перед отправкой агенту и найти правила, которые противоречат друг другу или не покрывают частые сценарии.
- Цифры
- —20–40% — на столько, по приведённым исследованиям, падает точность LLM при нечётких промптах
- —60–90% — доля синтаксически корректного, но логически неверного кода после генерации
- —2 раза — во столько растёт число регрессий при развёртывании такого кода
- —7–10 — столько повторных переводов делает инструмент для кластеризации интерпретаций
- Честно
- Это доклад, а не туториал: Keto Specification Analyzer выглядит как внутренний проект AWS, готового публичного инструмента или кода для повторения не показано. В конце автор ссылается на блог команды, где можно углубиться, но конкретных инструкций по установке нет. Часть деталей, включая SMT-код и интерфейс, видна только на экране, поэтому в пересказе их может не хватать.
Если слова незнакомы — 3 терминов
- LLMбольшая языковая модель, которая генерирует код по инструкциям
- SMTформальный язык для записи логических условий, которые можно проверить автоматически
- SAT-решательпрограмма, проверяющая, может ли набор логических условий быть одновременно истинным
Связки из этого ролика
2 шт.- formal methods
- automated reasoning
Компоненты
5 шт.Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник