A/B-тест AI-фичи: 78% просили, 10–15% пользовались

Что в ролике
Если вы проверяете AI-фичу A/B-тестом и видите уверенный плюс, это только начало — на примере функции AI-советов по фото для дейтинг-профиля в Bumble Суприя Субуди разбирает пять причин, почему так. Она начинает с разрыва между опросом и реальностью: 78% пользователей в исследовании говорили, что хотят получать обратную связь по профилю, но после запуска функция оказалась востребована лишь у 10–15% людей, поэтому её пришлось встраивать в существующие сценарии добавления фото и напоминать о советах при неудачах с мэтчами. Дальше выяснилось, что средний положительный результат скрывает ошибки — модель советовала людям больше улыбаться, когда они уже улыбались на фото, и успех пришлось оценивать не по сводной метрике, а по живым выводам и сегментам: полу, языку, странам. Переход с самой дорогой LLM на более дешёвую снизил качество и показал, что результат теста зависел от конкретной модели, а не от самой идеи фичи, поэтому команда активно использовала эвалы, быстро перебирала промпты и в итоге остановилась на самом дешёвом варианте с приемлемым качеством. Отдельно объясняется экономика генеративного AI: в отличие от классического машинного обучения, где основные затраты приходятся на обучение, здесь каждый дополнительный пользователь и каждый запуск увеличивают счёт, поэтому выбор модели должен опираться на то, нужен ли быстрый возврат инвестиций или долгосрочная лояльность. Наконец, юридические ограничения в разных странах не позволили просто раскатить фичу из США по всему миру — Meta Muse AI, например, доступна только в США и Канаде, и продуктовой команде приходится заранее решать, в каких регионах и в каком виде продукт вообще может выйти.
Практика
- Что получишь
- Набор из пяти проверочных вопросов к любой AI-фиче: использование вместо намерения, чтение реальных ответов, полная стоимость, выбор модели и юридические границы. Поможет не принять средний плюс A/B-теста за готовность к запуску.
- Первый шаг
- Составьте список из пяти вопросов из доклада и примените первый — реально ли люди используют фичу, а не только говорят, что будут, — к своему ближайшему AI-проекту.
- Цифры
- —78% — столько опрошенных говорили, что хотят AI-фидбек по фото в Bumble
- —10–15% — реальная доля пользователей, открывших функцию после запуска A/B-теста
- —20 млн — месячная аудитория Bumble, контекст запуска фичи
- —10 раз — во столько дороже была лучшая LLM по сравнению с более простым подходом
- Честно
- Это запись выступления, а не пошаговый туториал: в ней нет кода, промптов или интерфейса для повторения. Суприя не рекламирует платных продуктов, но рассказывает о внутренней практике Bumble, поэтому часть деталей — конкретные эвалы, точные модели и цифры стоимости — не раскрыта. Визуальные примеры с экрана в пересказе не переданы: там показываются скриншоты фичи и сравнения, которые лучше посмотреть в записи.
Если слова незнакомы — 5 терминов
- A/B-тестспособ сравнить две версии фичи на двух группах пользователей, чтобы понять, какая работает лучше
- LLMбольшая языковая модель — программа, обученная на тексте и умеющая генерировать связные ответы
- эвалыпроверки качества ответов модели на наборе примеров, чтобы поймать ошибки до пользователей
- промпттекст-задание, которое ты даёшь модели
- генеративный AIтип AI, который создаёт текст, изображения или советы по запросу
Компоненты
3 шт.Формат: разбор кейса · для бизнеса · уверенность разметки 0.9 · источник