先给结论:页数超过实际对象数量,通常不是“工具算错”,而是同一对象在不同层级被重复计数,最常见的是同一网址带不同参数、同一页面归属多个目录、或分页把列表拆成多行。去重的正确做法不是删行,而是先确定“一个对象”的判定键,再按这个键压缩,压缩后重新核对总数是否与你的对象清单一致。
拿到一份页数偏多的报告,第一步不是找去重按钮,而是问:这一行代表的是网址、页面、还是任务?很多软件把“抓取记录”和“页面对象”混在同一张表里,于是同一页面在发现阶段、抓取阶段、分析阶段各出现一次。你可以先看报告里有没有状态、来源、层级这类列,如果有,按这些列分组看数量,往往能立刻看出重复来自哪一层。
判定键的选择决定了去重结果。常见判定键有三类:完整网址、去掉查询参数后的路径、以及规范化后的主机名加路径。选哪个取决于你的目标——如果目标是页面级优化,用规范化路径;如果目标是链接或参数排查,保留完整网址。选错判定键会把本该分开的对象合并,也会把本该合并的重复留下。
确认判定键后,去重动作分三步,每一步的结果都会影响下一步:
如果压缩后数量仍偏多,说明判定键选得太细,或者对象清单本身也包含了重复项。这时不要继续加过滤条件,而应回到清单来源,确认清单是否也用了同一个判定键生成。两边口径不一致,任何去重都会反复。
一个假设的例子:假设你的对象清单有 120 个页面,报告显示 180 行。按完整网址去重后剩 150 行,按去掉 ?utm_source= 后的路径去重后剩 122 行。差值 2 行可能是同一路径的大小写差异或末尾斜杠差异。这个比较方法说明:先试最宽的判定键,再逐步收紧,比一次性套用复杂规则更容易定位问题。
常规去重做完后仍不一致,多半是以下三类情况之一:
page=2、page=3 在报告里各占一行,但在你的对象清单里只算一个列表页。处理方式是按父路径归并,而不是按完整网址。这三类的共同点是:它们都不是数据错误,而是对象定义在不同系统里不一致。去重只是让报告与你的定义对齐,并不改变页面本身。
压缩完成后,至少核对三件事:总数是否与清单一致、被合并的行是否真的指向同一内容、以及是否有对象在合并中丢失。如果只看总数变少就认为处理完成,可能会把本该保留的独立页面误删。
验证时可以用一个反向检查:从压缩后的每一行出发,看它能否在原报告中找到所有被合并的来源行。如果某一行找不到来源,说明它可能是新增或口径变化产生的,需要单独确认。这个动作的结果决定了下一步是继续去重,还是回到对象清单修正定义。
最后提醒:不同软件对“页数”的默认口径不同,具体某款工具当前如何统计、是否提供内置去重、去重依据哪些字段,需要以该工具的实际说明和当前版本为准,不能套用其他工具的经验。