该经验分享主要是帮助一部分朋友在日常网站改版中规则迟迟不生效、同样内容多套URL被收录问题，其实这个问题在很早之前也困扰过我，后面经过man_hok大师指导后才发现问题的最终原因在于老的链接还存在，所以导致网站改版失效、新的内容老的url还会被收录。
如果你遇到如下的问题，就该考虑是否老的入口还没有关闭：
1.网站改版不生效、部分不生效、生效周期超长。
2.一个同样的内容百度收录多份URL。
3.百度经常抓取一些不存在的页面。
主要问题的症结在于：
1.网站内部存在老的链接入口。
2.如果是同内容多套URL的问题，还要考虑网站是否存在泛解析，或改目录泛解析。
3.外部存在错误链接导向。
解决办法纲要：
1.网站内部的老链接可以由程序猿或者SEO来排查，从程序中、页面里删除或替换成新url格式。
2.泛解析的关闭，同时记得处理一下因此带来的死链问题。
3.外部存在错误链接导向的话，可控的参照（1）来解决，不可控的一定要把站内的错误链接返回404.
站内查找错误链接的方法
很多朋友跟我一样，很难让技术去排查这种问题，即便真去排查了，也没有几个能够排查出问题的。
老板骂的又是我们自己，咋整？还是我们自己动手想办法解决。
这边教程我推荐使用的XENU，相信大家都听到过了，为了方便大家排查，我这里做一个简单使用教程给大家，通过XENU我们可以很好的遍历整个站点，找到一些错误，没有上述问题的朋友也可以通过该工具遍历来了解站点存在的错误，好！废话不多说。
1.首先我们来新建遍历网站，一般情况下，我建议有多域且页面较多一个一个域来排查，否则很容易产生死角。打开xenu后 文件-检查网址即可新建一个项目。
2.配置项目，我们可以在这里输入我们要排查的网址，多子域且子域内容较多的建议一个子域一个子域进行排查，不建议勾选检查外部链接。在使用过程中大家可以把一些不必要检查的项目排除掉，这样会提高遍历的速度。
3.高级配置。这一步一般站点收录量不大，对性能要求不高的可以不用设置，直接跳过这步。
在更多选择中我们可以设置线程数，线程数越高速度越快，同时占用系统资源越高，对站点的压力也会越大，如果站点的服务器空间性能不是特别好，或者在使用该工具过程中遇到站点挂了。可以在这里减少增加线程，部分电脑比较卡的也可以通过调低线程数量来缓解卡顿。
这里有一个层数建议大家要特别注意，因为这涉及到遍历的逻辑，一般情况写3-5即可，看网站的层级是否复杂，如果遍历出来的结果不够完整，大家可以调高最大层数。
4.设置完成后点击确定，程序就会开始遍历URL，这个时候建议数量较多的不要把程序放本地电脑，以免影响工作。
5.程序跑完后会询问是否需要报表，看大家需要可以自动生成报表，不过在这里我建议一部分朋友，第一次跑完后点菜单栏：文件-重试无法访问的链接。在让程序确认一遍这些链接是否是真的无法访问。
6.在说明一下，在这里列出的链接除了200状态外，其他的都在，包括301的也在这里显示。从上图大家可以看到，我还有很多这样错误的301链接还存在对外入口。那么这些链接我必须删除或者替换成为新的链接格式。查看方式很简单，点击链接右键属性，就可以看到这个错误的链接在哪些页面中保留入口了。一般标准化页面的错误，我们通过该工具可以一次性排查掉。一般301 302 这里都会返回没有返回信息，而404会返回状态没有找到。当然如果量更大建议可以导出excel里面去排查。
这里排查的时候有个技巧：点击菜单栏“视图”-勾选“只显示无效链接”，这样哪些正确的链接就不见了。
另外这个工具还可以去挖掘某个页面内部链接的数量和位置等等信息。
--百度站长社区【版主-飞鹰正义】
