A/B测试的基本原理

　　A/B测试的具体实施方式有很多种，网站、桌面应用、手机应用等对应不同的实施方式，但均是将选定的用户分为两组，一组使用旧版本，一组使用新版本，对试验中收集到的效果指标数据，应用统计学上的方法进行验证，选择效果最好的版本正式上线推广。

　　A/B测试的实质，是对照实验法在线上的实施，是与控制组、实验组的自然科学实验一脉相承的，其原理应用的是统计学上的一种假设检验（显著性检验)。在这一过程中，“假设检验是先对总体的参数提出某种假设（比如说转化率的平均值)，然后利用样本数据判断假设是否成立的过程。逻辑上采用反证法，先提出假设，再计算该假设可能性的大小……由于统计得出的结果来自于随机样本的数据，结论不可能为绝对的，所以只能根据概率上的一些依据进行相关的判断。依据小概率思想（即显著性水平p<0.05的小概率事件在一次试验中基本上不会发生)，也就是说当原假设的可能性小于认定的某一标准的话，则拒绝原假设（认为这个假设是不成立的)，反之则接受原假设。”

　　具体到A/B测试里的假设检验，试验的目的就在于推翻“A/B两个版本无差异”的原假设，验证“A/B两个版本有差异”的备择假设。最终，通过比较A/B两个版本样本数据的相关参数，来决定最终投放使用的版本采用哪一个。

　　进行A/B测试时，测试用户的选取是十分关键的环节，为保证试验结果的准确性，一是要保证一定的样本数量，二是要考虑用户细分。“在A/B测试的实验中，需要保证小流量的实验具备代表性，也就是说1%的流量做出来的实验结果，可以推广到100%的用户，为了保证这一点，需要保证1%的流量的样本特征与100%流量的样本特征具备相似性。”具体来讲，要将在某一特征上具有相似性的用户聚为一类，再将其随机分为控制组与实验组，如果“所有用户杂糅在一起，导致即使我们做了A/B测试，也得不出有效结果。所以，我们需要按用户群体细分去做A/B测试，高质量用户、留存用户、低质量用户、不活跃用户，它们的行为是怎么样的，这才是有效A/B测试的关键。”

　　具体的用户细分，要根据不同的测试目的来区分﹐但通常比较关键的用户特征有这几种区分，新、老用户的区分，用户流量来源（自然流量、付费流量、推荐流量、Email流量、社交媒体流量）的区分，主页访问、内部访问的区分，首次购买、反复购买的区分等等。不同细分用户的行为分别是怎样的，是进行有效A/B测试的关键。