robots.txt文件的作用和语法介绍
1、什么是robots.txt文件
搜索引擎有自己的搜索习惯,当它对一个网站进行搜索时,哪些目录和文件要看,哪些不用看,它有自己的算法。我们也可以自己建立一个robots.txt文件,告诉搜索引擎的机器人哪些可以被收录,哪些不需要收录。这样可以节约自己网站的资源,提高杭州网站建设被搜索引擎收录的效率。
2、robots.txt放置位置
robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。
3、robots相关语法
1)User-agent: 适用下列规则的漫游器(搜索引擎)
该项的值用于描述搜索引擎robot的名字。在robots.txt文件中,如果有多条User-agent记录,就说明有多个robot会受到robots.txt的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则对任何robot均有效。
● Google爬虫名称: Googlebot
● 百度(Baidu)爬虫名称:Baiduspider
● 雅虎(Yahoo)爬虫名称:Yahoo Slurp
● 有道(Yodao)蜘蛛名称:YodaoBot
● 搜狗(sogou)蜘蛛名称:sogou spider
● MSN的蜘蛛名称(微软最新搜索引擎Bing杭州网站优化蜘蛛名也是这个):Msnbot
2)Disallow: 拒绝访问的目录或文件
该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被robot访问。
例如:
Disallow:/seo.html 表示禁止robot访问文件 /seo.html
3)Allow:允许访问的目录或文件
该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL是允许robot访问的。
例如:
Allow:/hibaidu/ 表示允许robot访问目录 /hibaidu/
4)使用通配符"*"和"$":
$ 匹配行结束符。
* 匹www.6998.net配0或多个任意字符。
? 匹配1个任意字符
5)robots.txt文件里还可以直接包括在sitemap文件的链接。
发布站点:意大利网站建设,米兰做网站,意大利网站优化
本文地址:http://www.huaxia.it/seo/201311094793.html
- 上一篇:我们网站的原创文章如何而来
- 下一篇:网站推广中时间把握点