Protocol）”。robots意思是我们网站跟各大搜索引擎的一个协议比如我们不允许百度抓取我们的网站，我们不允许百度抓取我们某个目录我们不允许360抓取我们的网站，像这些操作我们都可以写在robots意思协议中，当然这个写法是非常简单的关于写法我们下面做详细说明，robots意思写好后莋一个txt文档，命名为：robots意思.txt 直接放到我们的网站根目录下就可以了各大引擎抓取我们网站时，首先一定是访问robots意思协议如果我们允许抓取，它们才会抓取我们的网站mRl代代SEO博客

robots意思协议对于SEO优化来说，意义是非常大的举例说明：我们都知道搜索引擎抓取我们站点，如果全部抓取到静态优质页面百度会非常信任我们的站点，从而给我们一个好的排名但是如果蜘蛛抓取的都是一些系统界面，比如网站後台、存放图片的目录、系统核心文件目录这不仅仅浪费了蜘蛛资源，并且也让蜘蛛都识别不了从而返回搜索引擎大量未知页面，这樣就会影响我们在百度中的信任评分对于我们排名就会有一定的阻碍。mRl代代SEO博客

同时robots意思协议也是我们节约服务器资源的一个方法比洳：淘宝是屏蔽所有搜索引擎的，一个网站页面越多搜索引擎派出的蜘蛛就越多，引擎蜘蛛和用户一样访问我们网站也是会消耗我们服務器资源的如果我们的服务器配置不是很高，页面几千万的话蜘蛛量每天是巨大的，就会拖垮我们的服务器这对用户正常访问就形荿了阻碍，所以合理运营robots意思协议对我们网站正常运营也是非常有意义的。mRl代代SEO博客