您的位置首页百科快答

robots.txt怎么写

robots.txt怎么写

的有关信息介绍如下:

robots.txt怎么写

........................ 1

........................

写Robots,很多站长工具都是可以自动生成的,可以利用这些工具来写Robots。

........................ 2

........................

写Robots之前,我们可以先登录网站的根目录,先整理好哪些文件夹不想背搜索引擎爬抓。

........................ 3

........................

然后最后Robots.txt的写法如下。# robots.txtUser-agent: *Allow: /Disallow: /adminDisallow: /App_CodeDisallow: /App_DataSitemap:http://域名地址.com//sitemap.xml其中:Disallow后面的文件夹是禁止搜索引擎抓取的。

........................ 4

........................

然后把内容复制到文本文档中,保存好,然后在把文档改成robots.txt

........................ 5

........................

然后登录自己的网站ftp,把制作好的robots.txt文件复制到网站的根目录即可。

........................ 6

........................

最后登录百度站长工具,检测是否提交成功,检测出robots.txt文件即可。