К содержимому
Дайджест

AI-скрейпинг отзывов: Python, Playwright и Jev

ByteGrad·28 сентября 2026·24:53
текст даёт основное можно повторить промо пошагово
Открыть на YouTube
Видео для разработчиков и аналитиков, которые хотят увидеть современный пайплайн сбора и разметки отзывов: от классического парсинга до агента, прокси и классификатора Jev.

Что в ролике

Чтобы собрать отзывы с сайта Circuit Market и разметить их по тональности, автор показывает связку Python, Playwright и быстрого классификатора Jev. Сначала он демонстрирует классический путь без ИИ: библиотека requests получает HTML, BeautifulSoup вытаскивает текст отзывов, но так удаётся собрать только первые 20 из 100 — остальные подгружаются кнопкой «Load more». Playwright решает эту проблему: скрипт в headless-режиме запускает Chromium, нажимает кнопку до тех пор, пока не соберёт все 100 отзывов, и сохраняет их в JSON. Затем автор показывает, как агент Claude Code сам находит на сайте JSON API по адресу /api/reviews и получает все отзывы без браузера, а по просьбе «не использовать этот способ» генерирует Playwright-скрипт. Для прямого управления браузером агент может использовать Playwright MCP или CLI, причём CLI, по словам автора, расходует меньше токенов. Чтобы не упираться в блокировки и получать данные из нужной страны, автор подключает прокси OxyLabs: их Web Scraper API берёт на себя инфраструктуру и парсинг, либо можно использовать только прокси в Playwright. Финальный шаг — классификация отзывов через Jev: в коде через Forcell AI Gateway текст прогоняется по критериям positive/negative/mixed/neutral/uncertain, и результаты сохраняются в CSV с колонкой sentiment. В конце автор собрал всё в Next.js-приложение, где по кнопке запускается скрейпинг, затем классификация Jev, и можно скачать CSV.

Практика

Что получишь
Понимание полного пайплайна сбора и разметки отзывов: от запроса HTML до CSV с колонкой sentiment, включая запуск агента для поиска API и подключение прокси.
Первый шаг
Начать с простого скрипта на Python с requests и BeautifulSoup, чтобы увидеть, какие данные доступны в HTML.
Цифры
  • —100 отзывов — столько всего отзывов на странице Circuit Market, которые собирает финальный скрипт
  • —20 отзывов — сколько удаётся достать классическим скриптом без Playwright
  • —2000 бесплатных результатов — столько даёт пробный тариф OxyLabs по ссылке автора
  • —177 млн прокси — столько, по данным OxyLabs, доступно для сбора данных из 195+ стран
Честно
Ролик спонсирован OxyLabs: автор даёт промокод ByteGrad на 20% скидку и ссылку на бесплатный тариф с 2000 результатами. Часть действий, включая интерфейс OxyLabs, настройки прокси и код Jev, видна только на экране, поэтому для повторения нужно смотреть видео. Jev подключается через сторонний AI-шлюз Forcell, а не напрямую, и этот момент не объясняется подробно.
Если слова незнакомы — 5 терминов

Связки из этого ролика

5 шт.

Компоненты

9 шт.

Формат: пошаговый урок · для практикующих · уверенность разметки 0.9 · источник