За гранью A-B: Синтетический контроль для оценки офлайн и онлайн экспериментов там, где A-B-тест невозможен
Привет! Я Настя — лид A/B Платформы в Wildberries. На протяжении всего карьерного пути меня интересует тема оценки эффектов. Для этого существуют различные инструменты, в числе которых как A/B‑тестирование, так и альтернативные способы, например, различные вариации Causal Inference.В этой статье я хочу поделиться примером проведения двух квази‑тестов в Wildberries с использованием Синтетического контроля (Synthetic Control), когда не получалось провести A/B‑тест, но все‑равно хотелось оценить эффект от изменений.Почему не А/B-тестирование?
Propensity Score Matching (PSM): как обойтись без A-B-теста и всё равно узнать правду
На практике часто возникает необходимость объективно оценить, как то или иное событие влияет на ключевые метрики бизнеса. Это большая и широкая задача, которая часто решается с помощью проведения A/B-тестов. Но что делать, если провести честный рандомизированный эксперимент невозможно?В таких ситуациях полезен метод Propensity Score Matching (PSM), который компенсирует отсутствие случайного распределения за счёт подбора сопоставимых групп для сравнения, снижает влияние скрытых факторов и обеспечивает более точную оценку причинно-следственного эффекта.
