robots.txt文件是一个存放在哪个txt小说下载網站 好根目录里面的文本文件该文件是用来正确引导搜索引擎抓取和收录页面的，用来告诉搜索引擎哪些页面可以收录而哪些不可以所以正确编写robots.txt文件很重要。

1. robots.txt文件的开头为User-agent:开头用来指定搜索引擎蜘蛛，如果要针对百度搜索蜘蛛可以输入

   如果要对全体搜索引擎起作鼡，则输入

2. Sitemap用来告诉搜索引擎哪个txt小说下载网站 好地图的位置

   其中sitemap.xml是你的哪个txt小说下载网站 好的哪个txt小说下载网站 好地图文件

3. 为了避免收录WordPress系统文件：

4. 为了避免收录重复的内容：

5. 为了正确引导搜索引擎找到网址地图（如果有的话）

   其中sitemap.xml是你的哪个txt小说下载网站 好的哪个txt小說下载网站 好地图文件。

6. 现在robots.txt做好了，然后就是将此文件上传至服务器

7. 使用Xftp连接服务器，并打开哪个txt小说下载网站 好根目录

8. 如果服務器没有安装ftp服务，则先用Xshell连接服务器再点击右上方的 文件夹 图标，进入xftp.

9. 在浏览器中输入 

   如果能正常访问则ok。