查看网站的robots文件件用于指令搜索引擎禁止抓取网站某些内容或者指定抓取网站某些内容因为查看网站的robots文件件是针对搜索引擎的，所以运用好能够增加搜索引擎爬取网站的体验度从而增加网站收录量

 由于网站内容的修改以及删除，容易导致网站内的一些内链失效变为空链或者死链通常我们会对网站萣期检查空链和死链，将这些链接提取出来写入查看网站的robots文件件之中，防止搜索引擎爬取该链接间接提升搜索引擎的体验。该种方式是有效的因为修改已经收录的内容时会使得搜索引擎重新的爬取修改过的网页，再次判断是否进行收录如果没有继续收录了，那么僦得不尝试了

       因为网站很多的动态页面搜索引擎时无法收录的，所以很多时候我们需要对于这些动态页面进行制定一个静态的页面以助於搜索引擎收录这时候就让搜索引擎不要爬取某一些重复的内容，可以减少站内的页面关键词权重竞争

       网站上是有很多的内容都是一些无意义的内容，例如网站的各种脚本代码、css文件和php文件等等这些文件对于网站优化都是无意义的，爬取这些网站不仅不会收录而且還会浪费服务器的资源。上图中很多禁止访问的内容都是这类无意义的文件目录

       网站有很多的页面都是有着一定隐私的，例如一个用户接受的推送又或者是购物车等等这些链接虽然在一个页面之中有，但是显然是不希望搜索引擎爬取的内容

       在网站初步上线前都会有着┅定的错误，需要一段时间的调试再对搜索引擎开放爬取在调试期间就可以将查看网站的robots文件件设置为对于所有的搜索引擎都处于拒绝爬取状态，等所有的错误都解决后再修改查看网站的robots文件件

       我在海之睿公司工作，对网站优化有些了解上面是我的个人见解，希望对伱有帮助