对于网站来说，如果网站不想被搜索引擎收录，就需要对网站设置蜘蛛文件，禁止被蜘蛛爬取，比如，现在的淘宝。
它已经脱离了搜索引擎，有了它自己的排名规则。不需要依赖搜索引擎。
但是对于大部分的企业网站来说，还是需要搜索引擎的，需要搜索引擎对页面进行收录，然后有好的排名，毕竟中国人用百度的比较多。所以很多企业在做百度的时候，还是希望自己建立的官方网站能有好的排名。
所以对于蜘蛛文件应该设置是能够被蜘蛛所抓取，所以有时候网页没有被收录，可以查询一下是否蜘蛛文件被限制了。这也是其中一个因素。站长朋友一定不能忽略。
查询蜘蛛文件，只需要在网址后面加上/robots.txt 。就能查询到蜘蛛文件是否被限制。希望可以帮助到你。
分享到:
閱讀更多 賢潔潔 的文章
