Бесплатный AI-сервер на Kaggle: TPU обходит T4

Что в ролике
Автор разбирает популярный рецепт «бесплатного 32 ГБ AI-сервера» на Kaggle с двумя Tesla T4, который обещает замену дорогой видеокарте. На практике модель Qwen 3 27B в 4-битном квантовании занимает 17 ГБ, не влезает на одну T4 (15,3 ГБ полезной), и Ollama делит её между двумя картами послойно, из-за чего скорость генерации остаётся как у одной карты — около 16–18 токенов в секунду по бенчмаркам. Главная проблема — prefill: системный промпт агента (~30 000 токенов) читается со скоростью ~325 токенов в секунду и занимает 92 секунды, а бесплатный Cloudflare-туннель обрывает запросы через 100 секунд, что даёт всего 8 секунд запаса и приводит к ошибкам 502/504. Kaggle выдаёт 30 GPU-часов в неделю с лимитом сессии 12 часов и отключением простоя уже через 20 минут, а при 16,23 токена в секунду за неделю без простоев выходит около 1,75 млн токенов, что эквивалентно $4,31 на OpenRouter. Тот же бесплатный тариф Kaggle включает TPU VM — 8 чипов с 128 ГБ HBM и пропускной способностью 800 ГБ/с, а после того как vLLM добавил поддержку нужного типа внимания, проект Kaggle TPU Lab (MIT, ~579 звёзд) запускает полноразмерный Qwen 3 27B на 16 бит с контекстом 262 000 токенов. По бенчмаркам проекта TPU вариант выдаёт 130 токенов в секунду на генерации (в 8 раз быстрее T4) и 10 300 токенов в секунду на prefill (в 30 раз быстрее), плюс даёт API-ключ и поднимается за 22 минуты. Автор предупреждает: использование Kaggle как персонального сервера через туннель — серая зона по правилам платформы (с июня 2025 запрещён server farming), и «локальным» это не является, а в T4-гайдах часто нет авторизации Ollama и качается неофициальная модель. Вывод: TPU-рецепт хорош для обучения и батчей, для ежедневной работы дешевле купить хостинг (~$5 в неделю, например Cerebras за $1,49/млн токенов со скоростью 618 т/с), а собственная GPU нужна только если код нельзя выносить за пределы машины.
Практика
- Что получишь
- Понять реальную ценность бесплатного Kaggle-сервера для AI и выбрать между T4, TPU и хостингом, не тратя выходные на тупиковый вариант.
- Первый шаг
- Открыть Kaggle, выбрать ускоритель TPU VM (или T4 x2, если нужен именно тот рецепт), запустить ноутбук из проекта Kaggle TPU Lab или официальный гайд и замерить реальную скорость на своём промпте.
- Цифры
- —32 ГБ — суммарный объём VRAM двух Tesla T4 на бесплатном тарифе Kaggle
- —100 секунд — лимит таймаута Cloudflare-туннеля, при prefill в 92 секунды остаётся 8 секунд запаса
- —130 токенов/с — скорость генерации на TPU VM по бенчмаркам Kaggle TPU Lab (против 16–18 на T4)
- —$4,31 — эквивалент недельной выработки T4-сервера при покупке тех же токенов на OpenRouter
- Честно
- Автор в конце просит подписаться на канал, но не рекламирует сторонние продукты или курсы. Все цифры для TPU взяты из бенчмарков проекта Kaggle TPU Lab, а не из собственных тестов автора; ошибки таймаутов и цитаты из комментариев — по сообщениям других пользователей. Использование Kaggle как постоянного сервера через туннель противоречит его правилам и может привести к бану аккаунта.
Если слова незнакомы — 6 терминов
- токенминимальная единица текста, которую модель читает или генерирует
- prefillэтап чтения и обработки входного текста моделью до начала генерации ответа
- квантованиесжатие весов модели (например, до 4 бит) для уменьшения размера и ускорения, но с потерей точности
- VRAMвидеопамять графического процессора, в которой хранятся веса модели во время работы
- HBMбыстрая память с высокой пропускной способностью, используемая в TPU и современных GPU
- контекстное окномаксимальная длина текста, которую модель может учитывать за один раз
Связки из этого ролика
2 шт.- Kaggle + Ollama + Cloudflare
- Kaggle TPU + vLLM + Kaggle TPU Lab
Компоненты
11 шт.Формат: мнение · для практикующих · уверенность разметки 0.93 · источник