协议是搜索引擎抓取网站时第一個要访问的文件有限制要求则会按照要求抓取页面，没有限制则就全站抓取为了网站的安全和一些私密文件不被抓取收录，robots怎么写一萣要正确的书写

有些伪静态网站有动态页也有静态页，静态页和动态页是一个页面如果都被搜索引擎收录的话，就会造成重复页面後果就是两个页面的排名都不会好，为了保持网址的唯一性一般我们选择不让搜索引擎抓取收录，那么怎么样不让抓取呢当然就是在robots怎么写中写明，什么样的网址可以抓取哪个栏目页不让抓取，只让百度抓取不让谷歌抓取等等，都可以写好怎么写了？下面看看具體的写法：

      以上是举例的百度搜索蜘蛛的robots怎么写写法其他搜索引擎同理，要提醒的一点就是不要写错了比如说Disallow：/m 和Disallow：/m/是完全两个不同嘚意思，百度站长后台有网页抓取诊断可以试好了再添加，好了有什么疑问可以互相交流！