日期:2014-05-20  浏览次数:20641 次

爬虫,爬取指定几个网站上面的天气预报信息 然后存入数据库,如何实现
利用爬虫,爬取指定几个网站上面的天气预报信息 然后存入数据库,如何实现
------解决方案--------------------
先用HttClient之类的组件,模拟浏览器访问所指定网站的天气页面;
然后对所获取的HTML内容,借助HTML解析工具进行解析,以找到天气信息;当然也可以直接用正则表达式来直接用匹配的方式查找天气信息;
然后将天气信息组装成VO对象,存入数据库。

最后把上述程序做成定时任务就行了。
------解决方案--------------------
你参考一下我的blog吧

http://blog.csdn.net/iisgirl/article/details/7519760

我是先登陆后爬取,你可以直接爬取网站的网页内容,不用登陆即可。
用html解析工具,如jsoup就已经很好实现了。
------解决方案--------------------
用HttpParse,随便写个简单的就行。
只要目标网站版面格式不变就可以
------解决方案--------------------
引用:
你参考一下我的blog吧

http://blog.csdn.net/iisgirl/article/details/7519760

我是先登陆后爬取,你可以直接爬取网站的网页内容,不用登陆即可。
用html解析工具,如jsoup就已经很好实现了。



引用:
原理我知道  就是不知道如何实现爬虫程序。爬虫的算法用java如何实现?请教大家有没有用于专门搜索指定3-4个网站进行全国各个地区天气搜索的爬虫代码呀?




你先参考最简单的。