增量式与分布式爬虫
老师要做一个项目，需要我们根据已有的开源爬虫改进，从而实现以下功能:
1.增量式爬取
  判断是否为已爬过的内容；
  （把已爬过网页的网址保存成索引文件，方便下一次爬的时候进行比对。若网址及内容都相同，则不必写入磁盘；反之则爬取新的内容）

2.记录爬取网站的路径

3.反应所爬取网站的更新内容的日期

4.爬取后存储的文件名根据时间命名

5.边爬边生成html

6.能扩展实现分布式

不知道哪些开源爬虫更适合利用呢？感觉heritrix和nutch都太大了，不好改~ 不知道有没有小的好改一点的爬虫。。。
另外希望大侠们能给我一点意见，学习爬虫看哪些书或者资料比较好？感觉我还处于没入门的状态，只能慢慢自学。。

------解决方案--------------------
我不太知道，帮你顶。
------解决方案--------------------
好吧 我也理下你！！
但是我也不知道..
你是不是发错板块了！！