先给有条件的结论:当分组结论与总体结论方向相反时,最值得优先检查的是分母——也就是每个分组各自在用什么口径、什么范围、什么时间窗做基数。多数“辛普森式反转”不是数据造假,而是不同分组的分母结构不同,把总体趋势拆散后重新加权造成的。只有当你确认各分组分母口径一致、且分组变量与结果变量之间不存在被忽略的第三变量时,反转才可能是真实的结构性差异。
总体结论是把所有行混在一起算一个比率,分组结论是每组各算一个比率。两者方向相反,往往因为高转化分组在总体中占比很小,而低转化分组占比很大。举个假设例子:A组100次访问转化10次,B组1000次访问转化50次,总体转化率约5.5%,但分组看A组10%高于B组5%。总体被B组的体量拉低,分组却显示A组更好。此时分子(转化次数)没错,错的是你在总体里默认了两组权重相等。
要查分母,先列出每个分组的三样东西:分母定义、分母数值、分母来源。分母定义指“一次会话”“一个用户”“一次展示”还是“一次点击”;分母数值指该组实际计入了多少;分母来源指它来自站内日志、搜索平台报告还是第三方估算。三者只要有一项在不同分组间不一致,反转就可能是口径造成的。
不要只看比率,回到能逐条核对的明细。可用的证据链包括:
如果某组分母在去重前后差异明显,而另一组几乎不变,那么反转更可能是去重规则不统一,而不是业务表现真的分化。反过来,若各组分母口径一致、去重规则一致、时间窗一致,反转仍稳定存在,才值得把它当作结构性信号继续追。
假设你按“落地页类型”分组,发现详情页转化率高于列表页,但总体看列表页贡献的转化更多。你据此判断详情页更优。这个结论可能失效:如果详情页的访问者大多来自品牌词,而列表页访问者大多来自泛需求词,那么分组差异可能主要由流量意图造成,而不是页面类型本身。此时分母里混入了来源结构,分组变量与来源变量高度相关,反转就不能直接归因于页面类型。要让它成立,需要把来源作为控制变量再分组,或在同一来源内部比较两种页面。
具体动作是:对每个分组,先固定分母定义与时间窗,再分别用“原始计数”和“去重计数”各算一遍比率,记录两次结果是否同向。如果两次同向且与总体相反,进入下一步——检查是否有第三变量同时影响分组和结果;如果两次不同向,说明问题出在去重或采集环节,应先修数据口径,而不是改页面或投放策略。这个动作的结果直接决定你下一步是继续分析业务,还是先回到数据采集与清洗。
需要提醒的是,第三方估算流量、搜索引擎报告与站内统计的口径本来就不同,三者混用会让分母更难对齐。反转出现时,不要用单一指标断言搜索算法或用户行为发生了变化,而应把证据链收窄到可复核的计数与规则上,再决定是否采信分组结论。