對於網站來說，如果網站不想被搜索引擎收錄，就需要對網站設置蜘蛛文件，禁止被蜘蛛爬取，比如，現在的淘寶。
它已經脫離了搜索引擎，有了它自己的排名規則。不需要依賴搜索引擎。
但是對於大部分的企業網站來說，還是需要搜索引擎的，需要搜索引擎對頁面進行收錄，然後有好的排名，畢竟中國人用百度的比較多。所以很多企業在做百度的時候，還是希望自己建立的官方網站能有好的排名。
所以對於蜘蛛文件應該設置是能夠被蜘蛛所抓取，所以有時候網頁沒有被收錄，可以查詢一下是否蜘蛛文件被限制了。這也是其中一個因素。站長朋友一定不能忽略。
查詢蜘蛛文件，只需要在網址後面加上/robots.txt 。就能查詢到蜘蛛文件是否被限制。希望可以幫助到你。
分享到:
閱讀更多 賢潔潔 的文章
