Как Duolingo агентами дописал 225 тысяч строк тестов

Что в ролике
Если у вас старый код без тестов, проверка изменений становится узким местом — у Duolingo iOS-репозиторий вырос с 200 тысяч строк в 2019 году до почти 2 миллионов, а контрибьюторов уже больше 250. В марте покрытие unit-тестами было 11% в целом и 9% для MVVM-слоя, а через 8 месяцев стало 24% и 59% соответственно — сфокусировались на легко тестируемых слоях: view models, repositories и data sources. Построили систему на Temporal, S3, Cloud Code, GitHub Actions и Datadog: один процесс выбирает файлы, другой запускает по одному агенту на файл, который пишет тест и открывает PR. Для выбора файлов скрипт оценивает каждый Swift-файл: view models, repositories и data sources получают повышающий коэффициент, старый код понижается, UI-код пропускается; агент читает инструкцию по тестированию из репозитория, клонирует код и пишет тесты вместе с заглушками. PR-процесс каждые пару часов проходит по открытым тестовым PR: закрывает при конфликтах или возрасте больше трёх недель, чинит CI с помощью автоправок и агента, читающего логи (не более пяти попыток), находит автора файла через историю изменений и включает автоматическое слияние. Для качества добавили правило, что PR не должен менять production-код, затем AI-ревью убирает критические замечания, а LLM-судья отклоняет плохие PR — так отклонили 73 PR и докручивали инструкции. С марта система влила больше 700 тестовых PR и добавила 225 тысяч строк тестов, причём 34% всех новых тестовых файлов и 44% новых тест-кейсов написаны агентами, но в последние недели доля падает, потому что инженеры сами стали писать больше тестов. Опыт обобщается на другие задачи: тот же цикл применяют к модернизации экранов на MVVM и SwiftUI, миграции Android-кода на coroutines и генерации snapshot-тестов.
Практика
- Что получишь
- Понимание, как устроен production-контур генерации тестов: от выбора файлов и запуска агентов до контроля качества и поиска ревьюера. Сможете спроектировать похожий процесс для своей кодовой базы.
- Первый шаг
- Начните с локального эксперимента: дайте агенту сгенерировать тесты для нескольких файлов и измерьте долю успешных PR, как это сделали в Duolingo.
- Цифры
- —225 000 строк тестового кода добавил пайплайн с марта
- —700+ тестовых PR влито, каждый одобрен человеком
- —Покрытие MVVM-слоя выросло с 9% до 59%, общее — с 11% до 24%
- —34% новых тестовых файлов и 44% новых тест-кейсов написаны агентами с марта
- Честно
- Автор не продаёт продукт и не рекламирует внешние сервисы — это доклад о внутреннем инструменте Duolingo. Промпты, инструкция для агентов и скрипт выбора файлов в записи не показаны, так что для повторения их придётся восстанавливать самостоятельно; автор ссылается на инженерный блог компании для углубления. Часть деталей архитектуры видна только на схемах в презентации.
Если слова незнакомы — 6 терминов
- агентпрограмма, которая сама выполняет задачи: пишет код, открывает PR, читает логи
- unit-теставтоматическая проверка отдельной функции или класса
- MVVMархитектурный паттерн, разделяющий модель, представление и логику приложения
- PRпредложение изменений в кодовой базе, которое проходит ревью перед слиянием
- CIнепрерывная интеграция — автоматическая проверка кода при каждом изменении
- LLM-судьяязыковая модель, которая по правилам оценивает качество PR и отклоняет плохие
Связки из этого ролика
6 шт.- iOS
- Swift
- MVVM
- SwiftUI
- Android
- Kotlin Coroutines
Компоненты
11 шт.Формат: разбор кейса · для практикующих · уверенность разметки 0.9 · источник