К содержимому
Дайджест

A/B-тест AI-фичи: 78% просили, 10–15% пользовались

AI Engineer·31 октября 2026·14:44
можно прочитать можно повторить
Открыть на YouTube
Доклад продакт-менеджера Bumble о подводных камнях A/B-тестирования генеративных AI-функций на примере функции подсказок по фото для дейтинг-профиля.

Что в ролике

Если вы проверяете AI-фичу A/B-тестом и видите уверенный плюс, это только начало — на примере функции AI-советов по фото для дейтинг-профиля в Bumble Суприя Субуди разбирает пять причин, почему так. Она начинает с разрыва между опросом и реальностью: 78% пользователей в исследовании говорили, что хотят получать обратную связь по профилю, но после запуска функция оказалась востребована лишь у 10–15% людей, поэтому её пришлось встраивать в существующие сценарии добавления фото и напоминать о советах при неудачах с мэтчами. Дальше выяснилось, что средний положительный результат скрывает ошибки — модель советовала людям больше улыбаться, когда они уже улыбались на фото, и успех пришлось оценивать не по сводной метрике, а по живым выводам и сегментам: полу, языку, странам. Переход с самой дорогой LLM на более дешёвую снизил качество и показал, что результат теста зависел от конкретной модели, а не от самой идеи фичи, поэтому команда активно использовала эвалы, быстро перебирала промпты и в итоге остановилась на самом дешёвом варианте с приемлемым качеством. Отдельно объясняется экономика генеративного AI: в отличие от классического машинного обучения, где основные затраты приходятся на обучение, здесь каждый дополнительный пользователь и каждый запуск увеличивают счёт, поэтому выбор модели должен опираться на то, нужен ли быстрый возврат инвестиций или долгосрочная лояльность. Наконец, юридические ограничения в разных странах не позволили просто раскатить фичу из США по всему миру — Meta Muse AI, например, доступна только в США и Канаде, и продуктовой команде приходится заранее решать, в каких регионах и в каком виде продукт вообще может выйти.

Практика

Что получишь
Набор из пяти проверочных вопросов к любой AI-фиче: использование вместо намерения, чтение реальных ответов, полная стоимость, выбор модели и юридические границы. Поможет не принять средний плюс A/B-теста за готовность к запуску.
Первый шаг
Составьте список из пяти вопросов из доклада и примените первый — реально ли люди используют фичу, а не только говорят, что будут, — к своему ближайшему AI-проекту.
Цифры
  • —78% — столько опрошенных говорили, что хотят AI-фидбек по фото в Bumble
  • —10–15% — реальная доля пользователей, открывших функцию после запуска A/B-теста
  • —20 млн — месячная аудитория Bumble, контекст запуска фичи
  • —10 раз — во столько дороже была лучшая LLM по сравнению с более простым подходом
Честно
Это запись выступления, а не пошаговый туториал: в ней нет кода, промптов или интерфейса для повторения. Суприя не рекламирует платных продуктов, но рассказывает о внутренней практике Bumble, поэтому часть деталей — конкретные эвалы, точные модели и цифры стоимости — не раскрыта. Визуальные примеры с экрана в пересказе не переданы: там показываются скриншоты фичи и сравнения, которые лучше посмотреть в записи.
Если слова незнакомы — 5 терминов

Компоненты

3 шт.

Формат: разбор кейса · для бизнеса · уверенность разметки 0.9 · источник