日期:2014-05-20  浏览次数:20779 次

想做一个网页文章提取工具,希望大师们多提一些思路与建议。谢谢。
想做一个网页内容的提取工具

各大门户网站上有很多新闻,有标题,时间,链接 这些我都需要提取,而且是要页面指定位置的,然后通过这些链接找到页面提取文章的内容,换行空格要保留格式,其余部分删除,请大师们指教。
------解决方案--------------------
先提取页面
然后正则
------解决方案--------------------
可以用WebBrowser配置抓取部分的xpath
------解决方案--------------------
用“火车采集器”软件收集网页,然后解析内容,我为公司收集别人的产品数据的时候就是这样做的,
自己写了个解析html的类,以后用起来就很方便了,如果是一次性的就直接写个正则表达式来匹配就行了。
------解决方案--------------------
同意楼上的.如果一次性就直接写规则匹配,如果要用很久,或经常换网站采集,就设置一个网站的相关规则.绑定这个网站,如果网站HTML变更了就更新下这个规则
------解决方案--------------------
获取网页html内容,用正则匹配超找,根据规则一步一步采集呗
------解决方案--------------------
先通过WebBrowser工具把目标网站的要采集的内容的树节点路径保存到xml中,然后单独开发多线程程序去每天抓取目标网站的内容就OK了!
------解决方案--------------------
解析html源代码