摘要：
日照网站公司分析，robots协议对于我们的网站建设很重要的，可以很好的保护我们网站一些文件不会裸露在搜索引擎之下，进而就会有效的控制搜索引擎蜘蛛的抓取路径，为我们站长做好网站seo创造必要的条件。特别是我们的网站刚刚创建，有些内容还不是很完善，暂时还不想被搜索引擎收录时，就可以很好的使用robots协议，发挥robots协议大的价值。
日照网站公司案例
robots.txt协议文件属于网站的一个纯文本文件，主要是给搜索引擎蜘蛛看的。搜索引擎蜘蛛爬行到我们的网站，步就是抓取这个文件--robots协议，根据里面描述的内容来决定对我们网站文件访问的大概框架。
在一个站点上不仅拥有唯一一个"/robots.txt"文件，而且文件名的每个字母要求全部是小写。
robots.txt文件用法举例
例1.禁止所有搜索引擎访问网站的任何部分
下载该robots.txt文件User-agent:*
Disallow:/
例2.允许所有的robot访问
(或者也可以建一个空文件"/robots.txt"file)
User-agent:*
Disallow:
例3.禁止某个搜索引擎的访问
User-agent:BadBot
Disallow:/
例4.允许某个搜索引擎的访问
User-agent:搜索引擎spider
Disallow:
User-agent:*
Disallow:/
一个简单例子
在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。
日照网站公司-鼎欣提醒大家需要注意的是对每一个目录必须分开声明，而不要成"Disallow:/cgi-bin//tmp/"。
User-agent:后的*具有特殊的含义，代表"anyrobot"，所以在该文件中不能有"Disallow:
/tmp/*"or"Disallow:*.gif"这样的记录出现.
User-agent:*
Disallow:/cgi-bin/
Disallow:/tmp/
Disallow:/~joe/
