杭州 SEO最专业的网站优化公司

杭州网站优化seo robots . txt的语法

浏览:/ 2017-06-05

robots . txt的语法

机器人。txt文件包含一个或多个记录,这些记录由空白行分隔(使用CR、cr/nl、orNL作为终结者),每条记录格式如下:

“选项”:“选项”,“选项”,“选项”。

在这个文件中,您可以使用与UNIX中的约定相同的方法来注释。这个文件中的记录通常是由一个或多个用户代理开始的,然后是几个不允许的行,如下:

用户代理:

在“机器人。txt文件,如果超过用户代理记录显示有多个机器人将受到“机器人”的限制。对于该文件,应该至少有一个用户代理记录。如果该物品的价值被设置为,它将对任何机器人和“机器人”有效。txt“文件,”用户代理:“记录只能有一个。

如果你添加了“用户代理:某个机器人”,还有几个不允许,允许“机器人”中的行。txt文件,“某机器人”受到不允许的限制,允许“用户代理:某些机器人”。

不允许:

这个值可以是一条完整的路径,也可以是路径的非空前缀,并且以不允许项的值开始的URL将不会被机器人访问。例如,“禁止:/帮助”禁止机器人访问/帮助。HTML / helpabc。html /帮助/索引。html和“不允许/帮助/”允许机器人访问/帮助。html / helpabc。html,而不是访问/帮助/ index . html。

“不允许:”指令允许机器人在“/机器人”中访问站点的所有url。txt文件,至少有一个不允许的记录。如果“/机器人。txt“不存在或者是空的,这个站点对所有的搜索引擎机器人都是开放的。

为了拦截整个网站,使用正面的倾斜。

不允许:/

为了拦截目录及其内容的内容,请在目录名后面添加一个正斜率。

/ private_directory /

为了拦截网页,请列出页面。

/ private_file.html

允许:

与dis容许项类似,该值可以是一条完整的路径,也可以是路径的前缀,允许机器人访问以允许值开头的URL。例如,“允许:/hi百度”允许机器人访问/hi百度。HTM,/ hibaiducom。html / hibaidu / com.html。缺省情况是允许web站点的所有URL,因此允许和不允许使用,通常实现允许同时访问web页面的一部分,即阻塞访问所有其他URL的功能。

注意:不允许和允许的顺序是有意义的,机器人将根据第一个成功的允许或不允许的行来决定是否访问一个URL。

使用匹配字符序列

您可以使用星号()来匹配字符序列。例如,为了拦截对所有以“特殊”开头的子目录的访问,请使用以下条目:

用户代理:广告

不允许:/特别/

为了拦截问号(?)访问url可以用于以下项目:

用户代理:*

不允许:/ * ?

使用url的关闭字符

您可以使用$字符来匹配url的最终字符。例如,在结束时拦截一个web地址。asp,使用以下项目:

用户代理:广告

不允许:/ *。asp美元

您可以将该模式匹配与允许的指令相匹配。例如,如果?为了表示会话ID,您可以排除包含该ID的所有url,并确保搜索引擎爬行器不会爬行复制页面。但是,什么?最终的url可能是您想要包含的web版本。在这种情况下,机器人。txt文件的设置如下:

用户代理:*

允许:/什么?$

不允许:/ * ?

不允许:/ * ?一行会拦截包含的内容吗?Url(具体来说,它将拦截所有开始的域名,然后是一个任意的字符串,然后是问号(?),然后是一个任意的字符串Url)。

允许:/什么?这条线将允许包括在内吗?在url的末尾(特别是,它将允许包含所有开始的域名,然后是任意字符串,然后是问号(?),在没有任何字符的web站点之后的问号)。

阅读"杭州网站优化seo robots . txt的语法"的人还阅读

上一篇:杭州网站优化XML站点地图会改进网站的排名吗?

下一篇:如何从SEO优化的角度来提高主页的性能

  • =