Команда приложения разработала алгоритм для поиска наиболее подходящих анкет. Для проверки работы алгоритма был проведен A/B тест. Все пользователи были разделены на две группы. Пользователи в группе с номером 0 пользовались приложением со старым алгоритмом. Все пользователи в группе 1 пользовались приложением с новым алгоритмом для поиска анкет. Механика приложения следующая: пользователи видят в приложении анкеты друг друга и могут ставить друг другу лайки или дизлайки. Если пользователи поставили друг другу лайк – это называется мэтч, и у пользователей появляется возможность познакомиться.
Моя цель – оценить, правда ли, что новый алгоритм улучшил качество сервиса. Для этого нужно выбрать метрики, которые отвечают за качество сервиса, и статистически сравнить эти метрики в двух группах.
- Изучение первичных данных, приведение к необходимому виду.
- Математическая проверка соотношения успешных исходов.
- Статистический анализ с помощью Chi-squared test. Создание кросс-таблицы.
- Принятие решения на основе анализа.
Python(pandas, scipy, numpy). Результат представлен в файле ab_datingapp.ipynb
- Полдсчитано количество наблюдений в тестовой и контрольной группе. Данные преобразованы для удобной работы.
- Математическое соотношение успешных исходов в группе с новым алгоритмом для поиска анкет превалирует.
- P-value, полученное в результате статистического анализа, меньше выбранного уровня значимости (α = 0.05), следовательно мы можем отвергнуть нулевую гипотезу и заключить, что доли удачных мэтчей в группах различаются статистически значимо.
- Ответ на главный вопрос, стоит ли включать новую систему поиска анкет на всех пользователей - да, можно попробовать :)