Как в Databricks довести CSV до работающего endpoint

Что в ролике
Пользоваться Databricks имеет смысл тем, кто собирается работать с enterprise-уровнем ML: автор показывает сквозной сценарий от загрузки CSV из Kaggle до публичного endpoint с моделью. Он использует бесплатный тариф и работает в интерактивном ноутбуке, загружая train.csv и test.csv в managed volume каталога Unity Catalog. Данные читаются через Spark с автоопределением схемы, затем автор делает простую предобработку: строковые колонки кодируются one-hot, числовые заполняются медианой, после split 80/20 обучается RandomForestRegressor с 200 деревьями и глубиной 10. Обучение и метрики логируются через MLflow, модель регистрируется в Unity Catalog под именем house price tutorial model и разворачивается как serving endpoint с scale to zero. Для обращения к endpoint из локального Python-скрипта нужно создать персональный токен с правами model serving inference и отправить POST-запрос с bearer-токеном. Итоговые предсказания для тестового набора сохраняются в Delta-таблицу, после чего их можно запрашивать SQL прямо в Databricks. По результатам валидации модель дала R² 89,78% и RMSE 27 743, что автор считает достаточным для демонстрации платформы, а не для соревнования.
Практика
- Что получишь
- Вы увидите весь путь от CSV-файла до работающего API и поймёте, какие компоненты Databricks за это отвечают.
- Первый шаг
- Зарегистрируйте бесплатный аккаунт Databricks и создайте managed volume, чтобы загрузить свои CSV-данные.
- Цифры
- —89,78% — R² на валидации после обучения RandomForestRegressor
- —27 743 — RMSE в долларах, средняя ошибка предсказания цены
- —200 деревьев и глубина 10 — параметры случайного леса
- —80/20 — соотношение train/validation split
- Честно
- Видео — оплаченная интеграция с Databricks, ссылка в описании партнёрская. Автор использует бесплатный тариф, но для повторения нужен аккаунт и базовое знание Python; часть действий (токен, настройки endpoint, код запроса) показана на экране, а не расписана пошагово. Качество модели не оптимизировалось, это демонстрация возможностей платформы.
Если слова незнакомы — 6 терминов
- Sparkраспределённый движок обработки данных, который Databricks использует по умолчанию
- one-hot encodingпреобразование категориальных значений в отдельные бинарные колонки
- MLflowинструмент для логирования метрик, версионирования и регистрации моделей
- endpointURL, по которому развёрнутая модель принимает запросы на предсказание
- Delta-таблицатабличный формат хранения данных с версионированием, транзакциями и поддержкой SQL
- Unity Catalogцентральный реестр данных и моделей внутри Databricks
Связки из этого ролика
1 шт.- Databricks + Apache Spark + MLflow
Компоненты
7 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.88 · источник