在你的主页中为Web Robot设计路标
日期：2013-08-15 浏览次数：20828 次
Internet越来越酷，WWW的知名度如日中天。在Internet上发布公司信息、进行电子商 务曾经从时髦演化成时髦。作为一个Web Master，你可能对HTML、Javascript、Java、 ActiveX了如指掌，但你能否知道什么是Web Robot？你能否知道Web Robot和你所设 计的主页有什么关系？
Internet上的流浪汉--- Web Robot
有时你会莫明其妙地发现你的主页的内容在一个搜索引擎中被索引，即便你从未与他 们有过任何联系。其实这正是Web Robot的功劳。Web Robot其实是一些程序，它可以 穿越大量Internet网址的超文本结构，递归地检索网络站点所有的内容。这些程序有时 被叫 “蜘蛛（Spider）” ， “网上流浪汉（Web Wanderer）”，“网络蠕虫（web worms）”或Web crawler。一些Internet网上知名的搜索引擎站点（Search Engines）都 有专门的Web Robot程序来完成信息的采集，例如Lycos，Webcrawler，Altavista等，以 及中文搜索引擎站点例如北极星，网易，GOYOYO等。
Web Robot就象一个不速之客，不管你能否在意，它都会忠于本人主人的职责，任劳 任怨、不知疲倦地奔波于万维网的空间，当然也会光临你的主页，检索主页内容并生 成它所需求的记录格式。或许有的主页内容你乐于世人皆知，但有的内容你却不愿被 洞察、索引。难道你就只能任其“横行”于本人主页空间，能否指挥和控制Web Robot的行迹呢？答案当然是肯定的。只需你阅读了本篇的下文，就可以象一个交通 警察一样，布置下一个个路标，通知Web Robot应该怎样去检索你的主页，哪些可以 检索，哪些不可以访问。
其实Web Robot能听懂你的话
不要以为Web Robot是毫无组织，毫无管束地乱跑。很多Web Robot软件给网络站点的 管理员或网页内容制造者提供了两种方法来限制Web Robot的行迹：
1、Robots Exclusion Protocol 协议
网络站点的管理员可以在站点上建立一个专门格式的文件，来指出站点上的哪一部分 可以被robot访问, 这个文件放在站点的根目录下，即http://.../robots.txt.
2、Robots META tag
一个网页作者可以使用专门的HTML META tag ，来指出某一个网页能否可以被索 引、分析或链接。
这些方法适合于大多数的Web Robot，至于能否在软件中实施了这些方法，还依赖于 Robot的开发者，并非可以保证对任何Robot都灵验。如果你迫切需求保护本人内容， 则应考虑采用诸如添加密码等其他保护方法。
使用Robots Exclusion Protocol协议
当Robot访问一个 Web 站点时，比如http://www.sti.net.cn/，它先去检查文件http: //www.sti.net.cn/robots.txt。如果这个文件存在，它便会按照这样的记录格式去分析：
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
以确定它能否应该检索站点的文件。这些记录是专门给Web Robot看的，普通的浏览 者大概永远不会看到这个文件，所以千万不要想入非非地在里面加入形似<img src=*> 类的HTML语句或是“How do you do? where are you from?”之类假情假意的问候语。
在一个站点上只能有一个 "/robots.txt" 文件，而且文件名的每个字母要求全部是小 写。在Robot的记录格式中每一个单独的"Disallow" 行表示你不希望Robot访问的URL， 每个URL必须单独占一行，不能出现 "Disallow: /cgi-bin/ /tmp/"这样的病句。同时在一个 记录中不能出现空行，这是由于空行是多个记录分割的标志。
User-agent行指出的是Robot或其他代理的名称。在User-agent行，'*' 表示一个特殊的含 义---所有的robot。
下面是几个robot.txt的例子：
在整个服务器上拒绝所有的robots：
User-agent: *
Disallow: /
允许所有的robots访问整个站点：
User-agent: *
Disallow:
或者产生一个空的 "/robots.txt" 文件。
服务器的部分内容允许所有的robot访问
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
拒绝某一个专门的robot：
User-agent: BadBot
Disallow: /
只允许某一个robot光顾：
User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /
最后我们给出 http://www.w3.org/站点上的robots.txt：
# For use by search.w3.org
User-agent: W3Crobot/1
Disallow:
User-agent: *
Disallow: /Member/ # This is restricted to W3C Members only
Disallow: /member/ # This is restricted to W3C Members only
Disallow: /team/ # This is restricted to W3C Team only
Disallow: /TandS/Member # This is restricted to W3C Members only
Disallow: /TandS/Team # This is restricted to W3C Team only
Disallow: /Project
Disallow: /Systems
Disallow: /Web
Disallow: /Team
使用Robots META tag方式
Robots META tag 允许HTML网页作者指出某一页能否可以被索引，或能否可以用来查 找更多的链接文件。目前只要部分robot实施了这一功用。
Robots META tag的格式为：
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
象其他的META tag一样，它应该放在HTML文件的HEAD区：
<html>
<head>
<meta name="robots" content="no
