先别急着改结论,把总体和分组的“分母”并排列出来。总体结论通常来自全部关键词或全部页面,分组结论只来自其中一个子集;两者相反,最常见的原因是分母定义不同、分组漏项或权重口径不一致。用淘大象排名监控时,可以先固定同一时间窗和同一指标口径,再逐层核对每个数字背后到底统计了哪些行。
分母不同会制造“辛普森式”反转:总体上升,是因为高权重分组在总体中占比变大,而每个分组内部其实都在下降。要区分这种情况,需要同时看三样东西:总体分母、各分组分母、分组在总体中的占比。只看分组结论的百分比,不看它占总体多少,很容易把结构变化误读成效果变化。
一个可核对的检查顺序是:
如果分组占比几乎没变,反转更可能来自数据本身;如果占比明显移动,优先怀疑分母结构,而不是直接下结论说某类页面变好或变差。
总体可能按自然周统计,分组却按滚动七天统计,两端边界不同,分母天然不一致。先把时间窗统一到同一区间,再确认过滤条件是否一致,比如是否都排除了无排名数据、是否都包含新增页面。动作的结果会直接决定下一步:如果对齐后反转消失,说明原结论只是口径差;如果对齐后反转仍在,才需要继续查分组内部。
分组常常按标签、目录或关键词主题划分。标签可能一个页面挂多个,导致重复计数;也可能有页面没打标签,被排除在分组之外。用分组页面数之和与总体页面数对比,两者不等就说明分母没对齐。这个动作的结果是:相等则分组覆盖完整,可以继续比较;不等则先修正分组定义,再重跑一次。
总体可能按曝光加权,分组却按页面平均,同一批数据会得出不同方向。把权重口径写下来,再问一句:这个百分比是“占总体多少”,还是“组内平均多少”。两者混用是反转的常见来源。
保留原结论:适用于分母对齐、分组互斥且覆盖完整、权重口径一致,反转依然存在。这时反转是真实信号,应该保留并继续追因,而不是因为“看起来反常”就丢掉。
改写结论:适用于发现分母结构变化是主因。改写不是把结论删掉,而是把它限定在正确范围内,例如从“整体变好”改成“高权重分组占比上升带动总体,组内实际持平或下降”。改写后的结论要能被同一套分母复核。
退出当前分析:适用于分组定义本身不成立,比如标签混乱、页面归属无法确认、时间窗无法对齐。这时继续算下去只会放大误差,先修数据再回到分析,比强行给一个结论更省事。
假设总体只有两个分组:A组10个关键词,B组90个关键词。前一窗口A组排名上升比例高,B组低;后一窗口A组内部下降,B组内部也下降,但A组关键词数从10增到50。总体比例可能因为A组占比变大而上升,分组却都在下降。这个例子里的数字只用于说明比较方法,不是真实项目结果。要验证它,只需查每个窗口的分组关键词数和总体关键词数,看占比是否移动。
如果占比确实移动,下一步不是继续争论总体好还是分组好,而是回到淘大象排名监控里核对分组规则:新增的关键词被分到了哪一组,旧关键词有没有被重复计入。只有分母能对上,结论才有资格进入下一步决策。