解决蜘蛛只爬取网站首页的终极策略

　　一、新新的网站
　　对于新新的网站，首页刚刚被收录，这时候网站的权重是极低的。就不要期望这么快收录内页了，制定一个详细的优化方案，定时更新，切记使用一些舞弊的手法。
　　二、robots.txt文件、服务器限制
　　这是很多新手容易犯的错误，对robots.txt文件不是很了解，但是不设置又觉得自己降低了档次，所以就错误的填写，导致屏蔽了内页。这样也就导致了蜘蛛无法爬取你的内页。另外服务器的限制也会出现这种情况。
　　解决策略：检查robots.txt文件和服务器是否有限制，自己看不懂可以找别人帮你。
　　三、搜索引擎优化群发作弊行为
　　有没有这种情况站长本人最清楚了，如果有这样的行为很容易导致蜘蛛只爬取首页，不爬取内页。
　　解决策略：停止群发的一切seo作弊手法。有规律并且持续的更新网站内容，网站内容最好原创，次点也要是高质量的伪原创。适当的针对内页做些外链和友情链接，引引蜘蛛。
　　四、网站的自身结构
　　网站结构是否混乱，导航结构是否混乱，导航不清楚，首页有没有足够的链接指向内页。
　　解决策略：整理网站导航，理顺结构，让网站导航更清晰明了，调用内页关键词到主页，增多一种“最新作品”、“作品引荐”等版块，增加内页入口。
　　五、网站内容质量和更新频率
　　网 站内容质量应该是所有因素里面最重要的一个，也是收录不充分常见的原因。试想一篇自己都看不下去的文章，搜索引擎又怎么会有所青睐呢？互联网发展到现在， 已经是粘贴复制，抄袭山寨横行。搜索引擎为了提供良好的用户体验，对于复制抄袭的内容，坚持不收录的原则。同时网站的更新是否具有规律性也非常重要。 SEO管家中心：我们把百度蜘蛛比喻成一个人，它本来是1天来一次，你网站没有更新。然后就2天来一次，你的网站依旧没有更新。然后的然后就是5天、10 天、15天….
　　解决策略：坚持有质量、有数量的定期更新网站内容，当然针对不同的行业更新的频率也不仅相同。热门的行业更新的频率就快一些，冷门行业就相对慢些。更新内容的同时也要做好站外链接工作。
　　总结：一般新网站权重太低，出现这种情况很正常，老网站出现这种情况很可能是网站布局不合理。针对以上提出的几点现象，逐一排除，自会找出问题的根源。