Пять AI-проектов для портфолио: RAG, MCP, файнтюнинг

Что в ролике
Если вы пытаетесь попасть в AI-инжиниринг, типовые проекты вроде чат-бота, RAG-ответов на PDF и обёртки над API уже не выделяют резюме, поэтому автор предлагает пять более серьёзных работ. Первый проект — RAG-система, которую вы тестируете по-настоящему: собираете реальные документы, разбиваете на чанки, превращаете в эмбеддинги и отвечаете только по найденному контексту, но главное — пишете 50 вопросов с заранее известными ответами и гоняете пайплайн на этом наборе. Дальше стоит менять по одному параметру: семантический чанкинг вместо фиксированного, гибридный поиск с ключевыми словами и реранкинг, а метрики типа «нашёлся ли нужный документ», «корректен ли ответ» и «насколько модель уверена в выдумке» отслеживать отдельно, для чего подходит Ragas, хотя его оценки зависят от модели-судьи. Второй проект — сравнение локальных моделей размером 3–7 миллиардов параметров через Ollama или LM Studio с замером токенов в секунду, памяти и качества на одинаковых промптах, при этом важно фиксировать версию модели, квантизацию, длину контекста и железо. Третий проект — MCP-сервер для реального инструмента, например GitHub, где модель сама решает, когда вызвать инструменты «список репозиториев», «получить issues» или «оставить комментарий», а вы тестируете на 50 запросах, как часто выбирается верный инструмент и где ломаются аргументы. Четвёртый проект — осторожный файнтюнинг: сначала докажите провал базовой модели на узкой задаче, затем соберите от нескольких сотен до тысяч размеченных примеров, используйте LoRA или QLoRA и сравните метрики до и после, не ожидая, что это сделает модель умнее в общем смысле. Пятый проект — дашборд стоимости и задержек поверх любой из предыдущих систем: логируйте каждый запрос, считайте P50/P90/P95 вместо среднего, разбивайте задержку на retrieval, генерацию и время до первого токена, а для локальных моделей честно помечайте оценку электричества как приблизительную. Автор советует не браться за все пять сразу: два-три глубоко протестированных и задокументированных проекта скажут о вас больше, чем пять поверхностных, потому что ценятся не идеально работающие демо, а объяснение решений и ошибок.
Практика
- Что получишь
- Набор из пяти идей проектов, которые выходят за рамки типовых туториалов и тренируют инженерные привычки: фиксированные тесты, бенчмарки с реальными цифрами, безопасный вызов инструментов и мониторинг.
- Первый шаг
- Выберите один проект, например RAG с тестовым набором из 50 вопросов, и соберите минимальный пайплайн на Chroma с реранкером, прежде чем менять параметры.
- Цифры
- —50 вопросов — размер фиксированного тестового набора для RAG-системы, который автор советует писать самостоятельно
- —3–7 миллиардов параметров — диапазон локальных моделей для сравнения в проекте 2
- —50 реалистичных запросов — столько сценариев нужно прогнать через MCP-сервер, чтобы замерить выбор инструментов
- —P50, P90 и P95 — процентили задержки, которые нужно отслеживать вместо среднего значения
- Честно
- Готового кода и пошаговых инструкций в ролике нет: это обзор идей с названиями инструментов, реализацию придётся искать самому. Автор прямо предупреждает, что эти проекты — учебные, а не гарантия найма, и в конце просит подписаться на канал; платных продуктов или партнёрских ссылок в ролике не заметно.
Если слова незнакомы — 9 терминов
- RAGметод, при котором модель ищет ответ в заранее загруженных документах, а не только в своих знаниях
- эмбеддингичисловые представления текста, по которым модель понимает смысл и находит похожие фрагменты
- чанкингразбиение длинного документа на небольшие куски, чтобы их можно было искать и подавать в модель
- реранкингповторная сортировка найденных кусков, чтобы лучший оказался первым перед отправкой в модель
- MCPстандарт, позволяющий AI-модели вызывать внешние инструменты и сервисы по единым правилам
- LoRAметод дообучения модели, при котором меняется лишь малая часть параметров вместо всей сети
- QLoRAвариант LoRA с дополнительным сжатием, позволяющий дообучать модель на меньшем объёме памяти
- файнтюнингдообучение готовой модели на своих примерах под узкую задачу
- P50/P90/P95процентили задержки: медиана и худшие случаи, которые показывают реальную скорость для большинства и для наихудших запросов
Связки из этого ролика
4 шт.- RAG
- MCP
- LoRA/QLoRA
- DPO
Компоненты
13 шт.Формат: подборка · для новичков · уверенность разметки 0.85 · источник