К содержимому
Дайджест

Баги в спецификации: как AWS проверяет её до AI-агента

AI Engineer·11 ноября 2026·7:50
можно прочитать понять, как устроено промо
Открыть на YouTube
Доклад инженера AWS о внутреннем инструменте Keto Specification Analyzer, который находит противоречия и пробелы в требованиях до передачи их кодинг-агенту.

Что в ролике

Если вы передаёте кодинг-агенту спецификацию, противоречивые правила могут испортить код ещё до написания. Инженер AWS из группы автоматизированного рассуждения показывает инструмент Keto Specification Analyzer: он находит конфликты и пробелы в текстовых требованиях до генерации кода. Пример из электронной коммерции: одно правило разрешает оформлять заказ как back order при недоступном складе, а другое запрещает любые back order — по отдельности оба логичны, но вместе невыполнимы. По данным исследований, нечёткие промпты снижают точность генерации на 20–40%, а 60–90% синтаксически валидного кода всё равно содержат логические ошибки, что ведёт к удвоению регрессий. Метод трёхшаговый: LLM сначала сам пытается уточнить формулировку, если не выходит — переводит правила на язык SMT-формул, а SAT-решатель проверяет их на выполнимость и возвращает булево значение. При обнаружении неоднозначности система просит модель пересмотреть предложение, а затем делает 7 или 10 повторных переводов, кластеризует их по логической эквивалентности и оставляет решение человеку: убрать правило, изменить его или воздержаться от реализации. Отдельно различаются конфликт, когда два правила противоречат друг другу, и пробел, когда нет правила для ситуации вроде простоя заказа, а для расплывчатого «удалить запись» инструмент предлагает явные варианты: полное удаление или скрытие от пользователей. Спикер подчёркивает, что оракула корректности не существует: только пользователь с доменными знаниями может гарантировать смысл, а инструмент лишь помогает, поэтому проверять спецификацию нужно до запуска агента.

Практика

Что получишь
Схему трёхшаговой проверки требований: LLM уточняет формулировку, SMT-решатель проверяет выполнимость, человек принимает окончательное решение. Также понимание, что нечёткие спецификации могут удвоить число регрессий в сгенерированном коде.
Первый шаг
Перечитать свою спецификацию перед отправкой агенту и найти правила, которые противоречат друг другу или не покрывают частые сценарии.
Цифры
  • —20–40% — на столько, по приведённым исследованиям, падает точность LLM при нечётких промптах
  • —60–90% — доля синтаксически корректного, но логически неверного кода после генерации
  • —2 раза — во столько растёт число регрессий при развёртывании такого кода
  • —7–10 — столько повторных переводов делает инструмент для кластеризации интерпретаций
Честно
Это доклад, а не туториал: Keto Specification Analyzer выглядит как внутренний проект AWS, готового публичного инструмента или кода для повторения не показано. В конце автор ссылается на блог команды, где можно углубиться, но конкретных инструкций по установке нет. Часть деталей, включая SMT-код и интерфейс, видна только на экране, поэтому в пересказе их может не хватать.
Если слова незнакомы — 3 терминов

Связки из этого ролика

2 шт.

Компоненты

5 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник