Robots文件应该怎么看

Robots文件应该怎么看

首先应该知道的是，robots文件是一个普通的文本文档，是放在网站的根目录下面的，在网站首页的展现位置，在什么地方都可以，最好是放在最上边或者是最下边比较好，不占空间。

第一种：允许所有搜索引擎访问用：User-agent:， Disallow:或者User-agent: *Allow: /标签进行设置。

第二种：禁止所有搜索引擎访问用User-agent: *Disallow: /或者User-agent: *allow:进行设置。

第三种：禁止所有搜索引擎访问网站中的某个目录，在这里我用a、b、c来表示目录的文件夹。User-agent: *Disallow: /a/ Disallow: /b/ Disallow: /c/如果是允许访问某个目录，则是用Allow: /a/ Allow: /b/ Allow: /c/来表示

第四种、禁止某个搜索引擎蜘蛛的访问，我用d来表示目录的文件夹。那么，可以写为User-agent: w Disallow: /或User-agent: w Disallow: /d/*.htm在Disallow:后面加 /d/*.htm的意思是表示：禁止搜索引擎访问d目录下的所有以htm的文件，包含子目录文件。

第五种、只允许某个搜索引擎的访问，我用e来表示某个搜索引擎写法是：User-agent: e Disallow:在Disallow：后面不加任何东西，意思表示仅允许e这个搜索引擎可以访问该网站。

第六种、使用”$”来限制访问url用法：User-agent: * Allow: .htm$ Disallow: /意思表示为：仅允许搜索引擎访问以”.htm”为后缀文件。

第七种：禁止访问网站中所有的动态页面User-agent: * Disallow: /*?*ps：只要是带一些奇奇怪的符号比如“*”“？”这些都是动态页面。

第八种：禁止搜索引擎F抓取网站上所有图片；写作方式：jpg png gif bmp jepg 类型User-agent: FDisallow: .jpg$Disallow: .jpeg$Disallow: .gif$Disallow: .png$Disallow: .bmp$意思是表示：只允许引擎抓取网页内容，但是禁止抓取jpg、jpeg、gif、png、bmp格式的图片。

第九种：只允许某个搜索引擎抓取网页和.gif格式图片User-agent: EAllow: .gif$Disallow: .jpg$Disallow: .jpeg$Disallow: .png$Disallow: .bmp$意思是只允许抓取网页和gif格式图片，不允许抓取其他格式图片