windows下nutch的安装配置以及与tomcat的集成
Nutch是一个开源的、Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。

Nutch可以分为2个部分：

抓取部分crawler抓取程序抓取页面并把抓取回来的数据做成反向索引搜索部分searcher。搜索程序则对反向索引搜索回答用户的请求。

Nutch的爬虫有两种方式

爬行企业内部网(Intranet crawling)。针对少数网站进行，用crawl命令。

爬行整个互联网。使用低层的inject，generate，fetch和updatedb命令，具有更强的控制性。

研究了半天，终于在windows下面把nutch给跑起来了，看着跟百度谷歌相同的搜索结果，心里很欣慰，毕竟是忙了大半天才弄通的，现在我把这些配置过程大致的说一下，一方面作为备忘录，另一方面也让和我有同样兴趣爱好的朋友能够少

走弯路。
整个配置过程分为以下几个部分：

1、java安装及配置
从官方网站（如果官网不会下载，可以通过百度或迅雷）上下载java，下载后进行安装。这部分我就不用多说了，注意下面几项环境变量的配置（假定安装目录为：G:\Java\jdk1.6.0_14）：
JAVA_HOME = G:\Java\jdk1.6.0_14
path = %JAVA_HOME %\bin
CLASSPATH = .;%JAVA_HOME %\lib\dt.jar;%JAVA_HOME %\lib\tools.jar
2、tomcat安装及配置
从http://tomcat.apacher.org上面下载tomcat6，并解压至某个目录，我这里解压到G:\Tomcat6.0，则在环境变量里面配置：CATALINA_HOME = G:\Tomcat6.0
3、下载cygwin。这里安装配置过程可参考百度文库的一个文档http://wenku.baidu.com/view/c6fd2f4c2e3f5727a5e962ce.html假定安装目录为：G:\cygwin\
4、下载nutch-1.2并解压。我这里解压到G:\cygwin\nutch-1.2
5、集成过程

1）打开安装cygwin安装时生成的快捷方式，这样就能打开cygwin的命令行，里面能执行的当然都是Linux的命令

  cd进入nutch-1.2下面

  输入bin/nutch 出来nutch命令的一些选项提示 说明已成功一半

2）接下来是修改nutch-1.2/conf/nutch-site.xml

     修改后如下：

   <configuration>

   <property>

     <name>http.agent.name</name>

     <value>foxman</value>

     <description></description>

   </property>

   <property>

     <name>http.agent.description</name>

     <value></value>

     <description></description>

   </property>

   <property>

     <name>http.agent.url</name>

     <value></value>

     <description></description>

   </property>

   <property>

     <name>http.agent.email</name>

     <value></value>

     <description></description>

   </property>

</configuration>

注：http.agent.name段下的foxman值一定要给出（当然值是随意的）有兴趣的可以查看nutch-1.2/conf/nutch-default.xml这个文件，里面也有http.agent.name段，默认值为空，所以才要我们强制指明。
3）修改nutch-1.2/conf/crawl-urlfilter.txt倒数四行的代码修改成如下（只是修改了+^http://([a-z0-9]*\.)*163.com/）指明我们抓取的网站是http://www.163.com/下的网站。
# accept hosts in MY.DOMAIN.NAME
+^http://([a-z0-9]*\.)*163.com/
# skip everything else
-.
4）在nutch-1.2/下建立文件夹urls，然后在urls下面建立文件url.txt里面内容是http://www.163.com/
注：你要抓取的网站。

5）在cygwin中进入nutch-1.2目录

执行 bin/nutch crawl urls -dir crawl -depth 5 -threads 4 -topN 50

注：urls就是你之前建立的文件夹

      -dir crawl就是创建crawl文件夹来存储抓取的数据

      -depth 5 就是抓取的深度

      -threads 4 就是执行的线程数

      -topN 50 就是每层抓取数目

这样你的抓取数据都在crawl中了

可以执行 bin/nutch readdb sina/crawldb/ -stats

注：查看抓取信息。
6）把nutch-1.2文件夹下的nutch-1.2.war拷到tomcat的webapps文件下打开tomcat，nutch-1.2.war会自动被解压成同名的nutch-1.2文件夹。

7）配置nutch-1.2/WEB-INF/classes/nutch-site.xml

   修改后如下

  <configuration>

<property>

     <name>searcher.dir</name>

     <value>G:\cygwin\nutch-1.2\crawl</value>