出现这种情况是你服务器有缓存相关机制,返回304代码是请求的网页与上次比没有更新。意思是蜘蛛来到你的网站,你网站没有更新内容,并且与上次一样,就会返回304代码。如果每次蜘蛛来你的网站都有新的内容出现,就会返回200代码。因为304代码是记录网站内容是否有更新。如果返回的304太多,表示网站没有更新,蜘蛛也就不会经常光顾,影响收录。下面三个步骤进行:
1、内容是否更新?把蜘蛛来的时候访问的url记录看下规律,算出蜘蛛每隔多久来一次网站,针对这个在返回大量304的url对应的页面添加一个整站最新信息,然后在蜘蛛下一次快到来的时候生成下这些url,让蜘蛛每次来都能够有新的内容,而不是获取304认为与上次访问的页面内容无区别;
2、如果网站访问量实际上用不着缓存机制,那么可以去掉(比如有些喜欢用etag实现304,但很多大型站都没有用它);
3、看看空间商或网站目录中的缓存文件夹下内容是否更新,删除下原来缓存。
-- lvxianlei2010