博望网站优化robots.txt怎么设置

　　robots.txt是网站对搜索引擎的限制文件，一般存放于网站根目录，它的存在是告诉搜索引擎哪些目录文件可以查看，哪些不可以查看。

　　关于robots.txt内容的写法比较简单，但是也不可大意，许多做优化排名的网站，然后发现该文件中禁止搜索引擎爬抓，犯了这种低级错误。

　　User-agent：是标识针对的哪种搜索引擎，*号表示所有搜索引擎，Disallow：表示不允许爬抓，sitemap:填写网站地图的地址文件，方便蜘蛛爬行。

　　如果没有特别要求，该文件夹保持为空即可，如果有后台页面不允许蜘蛛爬抓，可以在文件里写出来。

　　该文件为网站优化的基础文件，虽然设置并不难，但是对于新网站来说，在上线后一步就要检查一下是否正确。