AI-скрейпинг отзывов: Python, Playwright и Jev

Что в ролике
Чтобы собрать отзывы с сайта Circuit Market и разметить их по тональности, автор показывает связку Python, Playwright и быстрого классификатора Jev. Сначала он демонстрирует классический путь без ИИ: библиотека requests получает HTML, BeautifulSoup вытаскивает текст отзывов, но так удаётся собрать только первые 20 из 100 — остальные подгружаются кнопкой «Load more». Playwright решает эту проблему: скрипт в headless-режиме запускает Chromium, нажимает кнопку до тех пор, пока не соберёт все 100 отзывов, и сохраняет их в JSON. Затем автор показывает, как агент Claude Code сам находит на сайте JSON API по адресу /api/reviews и получает все отзывы без браузера, а по просьбе «не использовать этот способ» генерирует Playwright-скрипт. Для прямого управления браузером агент может использовать Playwright MCP или CLI, причём CLI, по словам автора, расходует меньше токенов. Чтобы не упираться в блокировки и получать данные из нужной страны, автор подключает прокси OxyLabs: их Web Scraper API берёт на себя инфраструктуру и парсинг, либо можно использовать только прокси в Playwright. Финальный шаг — классификация отзывов через Jev: в коде через Forcell AI Gateway текст прогоняется по критериям positive/negative/mixed/neutral/uncertain, и результаты сохраняются в CSV с колонкой sentiment. В конце автор собрал всё в Next.js-приложение, где по кнопке запускается скрейпинг, затем классификация Jev, и можно скачать CSV.
Практика
- Что получишь
- Понимание полного пайплайна сбора и разметки отзывов: от запроса HTML до CSV с колонкой sentiment, включая запуск агента для поиска API и подключение прокси.
- Первый шаг
- Начать с простого скрипта на Python с requests и BeautifulSoup, чтобы увидеть, какие данные доступны в HTML.
- Цифры
- —100 отзывов — столько всего отзывов на странице Circuit Market, которые собирает финальный скрипт
- —20 отзывов — сколько удаётся достать классическим скриптом без Playwright
- —2000 бесплатных результатов — столько даёт пробный тариф OxyLabs по ссылке автора
- —177 млн прокси — столько, по данным OxyLabs, доступно для сбора данных из 195+ стран
- Честно
- Ролик спонсирован OxyLabs: автор даёт промокод ByteGrad на 20% скидку и ссылку на бесплатный тариф с 2000 результатами. Часть действий, включая интерфейс OxyLabs, настройки прокси и код Jev, видна только на экране, поэтому для повторения нужно смотреть видео. Jev подключается через сторонний AI-шлюз Forcell, а не напрямую, и этот момент не объясняется подробно.
Если слова незнакомы — 5 терминов
- headless-режимзапуск браузера без окна, в фоне
- JSON APIадрес на сайте, который отдаёт данные в машиночитаемом виде
- MCPпротокол, через который агент напрямую управляет внешними инструментами
- CLIинтерфейс командной строки, альтернативный способ управления инструментом
- проксипромежуточный сервер, через который идут запросы, чтобы скрыть своё местоположение и обойти блокировки
Связки из этого ролика
5 шт.- Python + requests + BeautifulSoup
- Playwright + Python
- Playwright + MCP/CLI
- Oxylabs + Playwright
- Next.js + Python
Компоненты
9 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.9 · источник