网站的robots.txt文本有什么用处呢？

robots.txt robots协议 User-agent 搜索引擎蜘蛛 Disallow