以确定它是否应该检索站点的文件。 在一个站点上只能有一个 "/robots.txt" 文件，而且文件名的每个字母要求全部是小写。在Robot的记录格式中每一个单独的"Disallow"行表示你不希望Robot访问的URL， 每个URL必须单独占一行，不能出现 Disallow: /cgi-bin/ /tmp/"这样的病句。同时在一个记录中不能出现空行，这是因为空行是多个记录分割的标志。
User-agent行指出的是Robot或其他代理的名称。在User-agent行，'*' 表示一个特殊的含义---所有的robot。
下面是几个robot.txt的例子：
在整个服务器上拒绝所有的robots：
User-agent: *
Disallow: /
允许所有的robots访问整个站点：
User-agent: *
Disallow:
或者产生一个空的 "/robots.txt" 文件。
服务器的部分内容允许所有的robot访问
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
拒绝某一个专门的robot：
User-agent: BadBot
Disallow: /
只允许某一个robot光顾：
User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /
b、Robots META tag
一个网页作者可以使用专门的HTML META tag ，来指出某一个网页是否可以被索引、分析或链接。 这些方法适合于大多数的Web Robot，至于是否在软件中实施了这些方法，还依赖于 Robot的开发者，并非可以保证对任何Robot都灵验。如果你迫切需要保护自己内容，则应考虑采用诸如增加密码等其他保护方法。
Robots META tag指令使用逗号隔开，可以使用的指令包括 [NO]INDEX 和[NO]FOLLOW。INDEX 指令指出一个索引性robot是否可以对本页进行索引；FOLLOW 指令指出robot是否可以跟踪本页的链接。缺省的情况是INDEX和FOLLOW。例如：
<meta name="robots" content="index,follow">
<meta name="robots" content="noindex,follow">
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">
c. 提高排名的几点技巧
用关键字的复数形式， （如，用"books"来代替"book",那么，当有人查询book或者books时， 你的站点都会呈现在他面前）
关键字的大写和小写多种拼写方式都用上。 （如：books,Books,BOOKS）同一个单词的三种以上的拼写方式并不会起到多大作用，尽管通常的错误拼写倒能奏效。
用你选定的关键字的组合方式。人们经常使用包含2或2个以上关键字的短语来搜索。 （如："storage facilities","STORAGE FACILITIES" 为了真正找准你的目标市场，加上"self, "SELF"和"你的城市/州" 等单词。那些不需要你的产品和服务的访问者即便再多，也没什么价值。
必须使用META值。 许多搜索引擎都是根据这些META值为你的站点做索引的。META值位于你页面HTML中的<head>和</head>之间，并不会在你的页面中显示出来。为了更精确的使用这些META值。可以找一个排名最高的站点的源文件来做些参考分析。
使用你10到20个最好的关键字的组合。 关键字丰富的META内容通常都是你站点排名的决定性因素。
提示：如果可能，尽量在每一段的开头或者搜索短语较靠前 的位置使用你最具代表性的关键字。
用关键字来填满你图象链接中的ALT值。
你站点中的每一页都应该单独登录到搜索引擎，而不仅仅是登录了首页就结束了。
提示：许多搜索引擎都会定期对你的站点重新检索，如果站点上没有变化你的排名可就会下降了，所以，保持你的站点常新。
为你的每一个主要的关键字创造或定制一个独立的页面， 并为每个主要的搜索引擎单独设计。 这会花上些时间，但是，一旦你做好了，将会令人不可置信的 提高你的排名。
提示：确保每个页面都能直接链接到首页以及其它一些相关页面。
警告！过去很多人投机取巧，滥用关键字来取得更高的排名。就是将自己的关键字一再重复使用，并改变文字颜色使之适应页面背景色。现在如果一旦发现你这么做了，大多数搜索引擎都会采取惩罚措施。
[首页] [上一页] [下一页] [末页]
