日期:2014-05-20  浏览次数:20661 次

爬虫,爬取指定几个网站上面的天气预报信息 然后存入数据库,如何实现
利用爬虫,爬取指定几个网站上面的天气预报信息 然后存入数据库,如何实现

------解决方案--------------------
先用HttClient之类的组件,模拟浏览器访问所指定网站的天气页面;
然后对所获取的HTML内容,借助HTML解析工具进行解析,以找到天气信息;当然也可以直接用正则表达式来直接用匹配的方式查找天气信息;
然后将天气信息组装成VO对象,存入数据库。

最后把上述程序做成定时任务就行了。
------解决方案--------------------
你参考一下我的blog吧

http://blog.csdn.net/iisgirl/article/details/7519760

我是先登陆后爬取,你可以直接爬取网站的网页内容,不用登陆即可。
用html解析工具,如jsoup就已经很好实现了。
------解决方案--------------------
用HttpParse,随便写个简单的就行。
只要目标网站版面格式不变就可以
------解决方案--------------------
探讨

你参考一下我的blog吧

http://blog.csdn.net/iisgirl/article/details/7519760

我是先登陆后爬取,你可以直接爬取网站的网页内容,不用登陆即可。
用html解析工具,如jsoup就已经很好实现了。