来源：Mindbox 群体的异质性 实验组和对照组必须是同质的，即同质的。按照什么标准来细分客户取决于实验。但是，有一些基本参数： 年龄; 地面; 购买数量； 电子邮件打开百分比； 通过短信或信件进行购买； 在数时间； 购买力。 正是群体形成的同质性使得增量收入成为CRM营销绩效的客观指标。正确的客户比例也很重要。您不应将对照组的 1 位买家与实验组的 60 名买家进行比较。
同时，存在很大的诱惑去忽略客户端在数据库中存在了多长时间。 我们有一个案例，在处理该案例时，我们发现了对损失的强烈扭曲。结果发现，对照组包括最近7个月一直在数据库中的人，而实验组 保加利亚电话数据 包括7个月到5年的人。 由于分布不正确，导致结果不正确。过去六个月一直在数据库中的客户比那些已经在数据库中呆了很长时间的客户有机地为公司带来了更多的资金。
新人分配不正确 研究小组在计算增量收入时以其正确且及时的更新为前提。所研究的细分市场是动态的，并且不断补充新客户。仅将新成员添加到其中一组会导致结果不正确。当实验周期较长时，这一点尤其重要。 需要定期统一补充数据库，保持系统中长期用户和新来用户在两组中的比例。 我们的一位客户拥有五十万人口。每个月它都会接待大约10,000名新客户，即1.5%。
我们将组别按 95 比 5（或 19 比 1）的比例进行划分，即 100 万 42.5 万客户对 7.5 万客户。过了一段时间，他们才发现一个严重的数学错误，导致结果失真。 为什么我们错了？事实证明，在这家公司，新员工创造了总收入的 20-30%。哪怕是其中一个人的收入，都比基地普通人高千倍。我们及时意识到这一点并改变了比例，这增加了群体的同质性并有助于收集有关客户的正确信息。