AB实验基础
AB实验涉及到基本概念，包括域（Domain）、层（Layer）、实验（Experiment）、发布层（Launch layer）和条件层（Condition layer）。域是流量的划分，层是系统参数的子集，实验是修改参数并改变请求处理的过程。发布层允许在灰度测试后全量部署实验策略，条件层则根据特定条件控制流量实验。这些概念相互嵌套，提供灵活的流量控制方式。
实验步骤包括流量分配、实验数据回收、实验结论和数据分析。流量分配需遵循域间隔离和层间正交的原则。分配方法有随机、用户id或用户cookie取模以及用户id日期取模。在搜推广场景中，通常采用用户id取模方法。部分业务使用用户id尾号分桶，这在某些情况下可能存在问题，采用Hash(用户id)可能更优。
在进行实验设计时，需确定最小流量。这取决于预期结果、用户量和曝光量等因素。例如，对于比值类指标（如pctr），可使用Evan's Awesome A/B Tools计算最小样本量。对于均值类指标（如人均时长），则需使用T检验计算所需样本量。样本量越大，实验结果的置信度越高。
实验效果评估通常涉及比值类指标的卡方检验和均值类指标的T检验。短期和长期效应的分析对于理解实验的全面影响至关重要。短期效应可能与长期效应存在差异，因此在评估实验效果时需综合考虑。
实验结束后，应分析直接效果（如转化率、留存、人均时长等指标）和ROI，并利用实验数据进行探索性分析。实验效果可能随流量变化，发现的现象需进一步验证，并进行迭代优化。
提供了一系列在线工具和Python程序用于计算样本量、P-value等关键统计指标，帮助实验设计和分析过程更加高效和准确。
温馨提示：答案为网友推荐，仅供参考