日期:2014-05-17  浏览次数:20694 次

想抓取一个站点的所有下载链接,求推荐爬虫工具-_-
比如有一个下载站点,里面的资源都是zip包,我想把所有的zip包下载url都爬出来记录到一个文件里,求推荐工具,多谢大家`

------解决方案--------------------
使用httpclient之类的工具自己写一个呗,很简单啊。
------解决方案--------------------
不清楚如何确定哪些url是资源
------解决方案--------------------
用Jsoup