Обратный инжиниринг ИИ: реальность и границы

Что в ролике
Заголовки обещают, что ИИ декомпилирует что угодно, но после чтения статей и кода автор показывает, что реальность сложнее: ИИ обращает инжиниринг только когда у него есть «ключ ответа» — способ автоматически проверить результат. Бенчмарк SBench от Columbia's DApp Lab оценил GPT-6 Astra в 99,2% на задачах обратной разработки, но это результат с четвёртой попытки, а с первой модель решила 88%, и тот же бенчмарк даёт разброс от 30,5% до 55,9% для прошлых моделей в зависимости от того, кто запускал тест. Классическая обратная разработка упирается в то, что компилятор убирает имена переменных и структуру, а инструменты вроде Ghidra дают лишь скелет кода, который нужно восстанавливать вручную годами. В цикле ИИ модель смотрит на функцию в Ghidra, пишет предполагаемый C-код, компилирует тем же компилятором и сравнивает байты через object diff, повторяя до 12 попыток; разработчик Makabas так сопоставил 74% функций из Sonic Advance 3 и Animal Forest. В проекте Super Smash Bros Melee сообщество шесть лет строило точную сборочную систему, поэтому ИИ пришёл в готовую среду, где каждая функция проверяется байт-в-байт, и результат нельзя назвать «слопом». Напротив, в проекте Modern Warfare 2 четыре агента за месяц сделали 7 000 коммитов и декомпилировали 34% функций, но почти ничего не работало, потому что цель под Linux и macOS убрала байтовую проверку, и агентам некому было сказать, какой кусок сломан. В безопасности краш программы служит тем же ключом: компания Depth First нашла 21 уязвимость в FFmpeg за примерно 1 000 долларов вычислений, то есть около 48 долларов за баг, старейший из которых ждал с 2003 года. Финансовый вывод: проект Modern Warfare 2 сжёг 235 млрд токенов, которые по API-ценам стоили бы 85 270 долларов, но автор платил 200 долларов за подписку, поэтому часть «прорыва» — это ценовое решение.
Практика
- Что получишь
- Поймёте, почему ИИ успешно декомпилирует только при наличии автоматической проверки результата, и сможете отличать реальные достижения от шумихи в заголовках.
- Первый шаг
- Начните с чтения бенчмарка SBench и разбора его методологии: какие задачи, сколько попыток и как считалась оценка, чтобы видеть разницу между 88% с первой попытки и 99,2% с четвёртой.
- Цифры
- —99,2% — доля задач SBench, которую GPT-6 Astra решила с четвёртой попытки (88% с первой), а не с одной, как выглядит в заголовках
- —74% — столько функций из Sonic Advance 3 и Animal Forest модель Claude Sonnet сопоставила с оригиналом через цикл компиляции и сравнения байтов
- —7 000 коммитов и 34% функций — результат четырёх агентов в проекте Modern Warfare 2 за месяц, но почти ничего не работало из-за мелких ошибок
- —48 долларов за баг — средняя цена найденной уязвимости в FFmpeg, когда Depth First потратила около 1 000 долларов на вычисления и нашла 21 проблему
- Честно
- Автор не продвигает собственные продукты и не даёт партнёрских ссылок: ролик — независимый разбор. Все примеры и цифры взяты из открытых статей, GitHub-репозиториев и постов, но сами исходные материалы в видео не показаны и ссылки не приводятся, поэтому перед повторением стоит проверять первоисточники. Ролик не содержит инструкций по декомпиляции, это аналитический обзор.
Если слова незнакомы — 6 терминов
- обратная разработкавосстановление исходного кода программы из готового бинарного файла
- компиляторпрограмма, превращающая читаемый код в машинные инструкции и убирающая имена переменных
- Ghidraбесплатный инструмент от АНБ для анализа скомпилированных программ и получения чернового кода
- object diffсравнение байтов двух скомпилированных файлов, чтобы проверить, совпадает ли восстановленный код с оригиналом
- токеныединицы текста, которые модель обрабатывает и за которые берёт деньги API-провайдер
- слоппренебрежительное название массово сгенерированного ИИ-кода, который выглядит правдоподобно, но не работает
Связки из этого ролика
4 шт.- Rust
- C
- Linux
- macOS
Компоненты
7 шт.Формат: мнение · для практикующих · уверенность разметки 0.88 · источник