日期:2014-05-20  浏览次数:20586 次

有个问题关于java的主题爬虫
老师要求我们写一个java的主题爬虫,大致作用是爬一些服务外包网站上的项目信息,比如项目名称,要求,联系方式等。我现在能做到的只是将整个网站的正文内容分文件下载下来。该如何像老师要求的那样只下载想要的文本内容,而直接忽略其他的文本内容呢?是根据html的标签来做?

------解决方案--------------------
下下来过滤被,写个正则把标签去掉,url存队列,需要的内容再一匹配,直接存数据库了