Простые и продвинутые методы ускорения A/b теста

1. Изучите предложенный вам датасет с результатами А/B-тестирования.

2. Найдите различия между двумя группами. Если применить критерий на сырых данных, результаты не покажут различий между группами для такого количества данных. Ваша задача — увеличить чувствительность критериев (например, t-test), используя каждуюиз следующих методик:

— Бутстрап.

— Стратификация.

— CUPED.

3. Помимо кода, пропишите комментарий по каждой задаче, поясняющий полученные результаты, а также напишите свой вывод о различиях или совпадениях между тремя методиками повышения чувствительности критериев.

https://gbcdn.mrgcdn.ru/uploads/asset/5875824/attachment/d1058f7bc4d3d7fc2493ff2212311aac.ipynb