不一致通常不是“工具算错了”,而是同一批对象在报告里被拆成了多个可计数单位:带参数的网址、重复的目录路径、分页与筛选视图,或者同一内容的不同主机名。去重的第一步不是删行,而是先确定“实际对象”的边界,再把报告行归并到同一对象上。
假设一个情境:某站点有 300 个内容页,另有 120 个标签页和 80 个筛选页。站长工具查询报告给出 1400 个“已收录页数”,直觉上远超实际对象数量。这个差异可能来自三种口径:一是把同一页面的 http 与 https、带尾斜杠与不带尾斜杠各算一次;二是把筛选参数、排序参数、会话参数当作独立网址;三是把分页、打印页、AMP 或移动版另算。三种原因对应的处理动作完全不同,不能一律去重。
可核对的证据是:从报告里随机抽 30 行,逐行打开,记录最终落地页的规范网址、页面标题和主体内容是否相同。如果多行最终落到同一规范网址,属于对象重复;如果落到不同网址但内容高度相似,属于口径或质量判断问题。这个抽样动作的结果决定下一步是合并行,还是调整对象定义。
去重的核心是给每个实际对象定义一个稳定的对象键。常见做法是把网址规范化为:统一协议、统一主机名、去掉默认端口、去掉会话与追踪参数、统一大小写、处理尾斜杠。对筛选和排序参数,要区分“会改变主体内容”与“只改变展示顺序”两类:前者可能仍是独立对象,后者应归并到基础页。
可以用一个短例子说明假设的比较方法:报告中有 5 行,网址分别是 /a、/a/、/a?utm_source=x、/a?sort=price、/a?page=2。若规范化后前四行得到同一个对象键,而第五行对应分页内容,则合并前四行、保留第五行作为独立对象。这个结果会影响下一步:合并后对象总数下降,若仍远高于预期,就要继续检查主机名、子目录和内容相似度,而不是继续删行。
仅凭网址相似不能断定重复。至少核对三项:规范标签或规范网址是否指向同一地址;页面标题与主体内容是否实质相同;站内链接和站点地图是否把它们当作同一对象。若规范标签缺失,可以用内容哈希或人工比对作为替代证据,但要注明这是判断依据,不是工具结论。
另一类反常现象是报告页数突然归零或大幅减少。这不能单独证明去重正确。合理解释还包括抓取受限、报告时间窗口变化、过滤条件被改动、对象被移出站点地图。此时应回看查询条件与时间范围,再决定是否重新导出,而不是直接认定对象已被合并。
去重后应保留一张对照表:对象键、代表网址、被合并的报告行、合并依据、仍需人工确认的行。这样执行人员能复核每一步,而不是只拿到一个更小的数字。若下一步要做收录检查或内容整改,应以代表网址为准;被合并的行只作为历史记录,不再单独分配任务。
需要提醒的是,不同站长工具对参数、子域和分页的处理方式并不一致,具体功能与当前行为需要以实际界面和官方说明为准。去重规则一旦确定,应固定下来并记录适用条件,否则下次查询口径变化,报告页数仍会与对象数量对不上。