robot txt：业务从单一品类扩张时是否需要新栏目
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /ad1154534b5d.html
📄
robot txt：业务从单一品类扩张时是否需要新栏目
不一定。只有当新品类需要独立的抓取预算、独立的内容入口，或旧栏目结构会让搜索引擎误判页面主题时，新增栏目才值得做；如果只是同一批用户在同一需求下顺手购买，先扩内容、不拆栏目通常更稳。
先判断扩张是“同一意图延伸”还是“新意图分支”
单一品类扩张常见两种形态。第一种是同一采购意图下的配套延伸，例如原本卖咖啡豆，后来增加滤纸、手冲壶。用户搜索时仍带着“做咖啡”这个共同前提，旧栏目能承接，拆栏目反而让内链变散。第二种是独立意图分支，例如原本卖猫粮，后来增加猫用药品。用户搜索目的、决策周期和信任要求都变了，旧栏目继续混杂，容易让搜索引擎把两类页面归到同一主题簇。
判断依据不是品类数量，而是搜索意图是否分叉。可以抽取新品类下最典型的几个查询词，看它们与旧栏目核心词是否共享同一批修饰语和场景词。如果共享，先不拆；如果各自形成独立词群，再考虑拆。
拆栏目之前，先确认 robot txt 是否需要跟着改
栏目结构变化本身不要求 robot txt 一定调整。真正需要检查的是：新栏目是否用了新的路径前缀，而这个前缀是否被旧规则误挡。例如旧规则里写了 Disallow: /old-category/，新栏目若复用类似路径或放在被屏蔽目录下，抓取会被挡住。此时动作是：在搜索控制台或日志里确认新 URL 是否被抓取；如果抓取量长期为零，再回头核对规则，而不是先怀疑内容质量。
反过来说，如果新栏目路径完全开放，robot txt 不改也能正常被抓取，那就不要为了“配合扩张”而加规则。盲目新增 Disallow 只会让新页面更难被发现。
一个会让“必须拆栏目”结论失效的反例
假设某店原本只卖瑜伽垫，后来增加瑜伽砖。按品类数量看，似乎该拆新栏目。但如果两个品类的用户几乎都从“瑜伽初学者装备”这类词进入，旧栏目页已经能覆盖，且新品类页面数量很少，那么拆栏目后每个栏目内容都变薄，内链和抓取入口都被稀释。这种情况下，不拆栏目、只在旧栏目内增加分类锚点和内容模块，反而更有利于搜索引擎理解整体主题。
这个反例说明：品类扩张不等于结构必须扩张。当新品类页面少、意图重合、旧栏目权重集中时，拆栏目会制造新的薄弱入口。
用一次小范围验证决定下一步
如果仍不确定，先选新品类下两到三个页面，不新建栏目，只放在旧栏目内，并给它们加上从旧栏目主页面出发的内链。观察两件事：这些页面是否被正常抓取和索引；它们在相关查询下是否开始获得展现。若一段时间后展现和点击仍集中在旧栏目主页面，而新页面没有独立入口，再考虑拆栏目。若新页面在旧结构下已能获得展现，说明当前结构够用，下一步应优化内容而非改路径。
这个动作的结果直接决定后续：抓取和展现正常，就继续在旧栏目内扩展；抓取正常但展现始终被旧页面压制，再评估新栏目的独立主题价值。
