Создать сервис A/B-экспериментов с расчётом значимости

Наш веб-сервис активно развивается, и решения об изменениях мы хотим принимать на данных, а не на догадках. Задача — построить сервис контролируемых экспериментов, с которым продуктологи и маркетологи смогут сами запускать проверки гипотез, не дёргая бэкенд под каждый тест. При создании эксперимента пользователь выбирает сегмент аудитории, описывает два или больше варианта, задаёт доли трафика (скажем, поровну или со смещением при постепенной раскатке) и указывает целевые действия: регистрацию, клик или завершённую оплату. Когда эксперимент активен, каждый посетитель должен надёжно попадать в один и тот же вариант при повторных визитах, иначе выводы будут искажены.

Ключевая часть — вычислительное ядро и экран результатов. По каждому запущенному тесту важно видеть число посетителей, конверсии и их долю по вариантам, а рядом — аккуратный расчёт значимости, отделяющий реальный эффект от случайных колебаний. Нужны доверительные интервалы, разница относительно контрольного варианта и понятный признак того, достигнута ли значимость и хватает ли накопленной выборки для вывода. Отдельно попрошу защиту от преждевременного подглядывания: интерфейс должен честно показывать, что делать заключение пока рано. Подчеркну — это сервис именно экспериментов, а не тумблер функциональных флагов и не универсальная веб-аналитика: упор на управляемые проверки и корректную статистику.

Для подключения сайтов понадобится компактный SDK — прежде всего браузерный на JavaScript, а также несложный серверный вариант, который забирает назначенный вариант и отправляет события конверсии обратно. Он обязан работать быстро, кэшировать выданные назначения и безопасно откатываться, чтобы сбой эксперимента не ломал саму страницу. На выходе жду готовое к бою и описанное решение, чтобы после передачи мы вели эксперименты своими силами.

— Редактор экспериментов: варианты, доли трафика со смещением, сегментация аудитории, несколько целей
— Надёжная привязка посетителя к варианту при повторных визитах и по возможности между устройствами
— Вычислительное ядро: доли конверсии, доверительные интервалы, разница эффекта, проверка значимости и выборки
— Экран результатов с метриками по вариантам и внятной подсказкой продолжать либо остановить тест
— Браузерный и серверный SDK для выдачи вариантов и сбора событий с безопасным откатом
— Документация и небольшая передача, чтобы команда запускала эксперименты самостоятельно