关于网络爬虫
web项目中需要大量数据,指导老师说用网络爬虫,但是在网上看了很多都不是很懂,求大神指点怎么使用,我需要一个旅游网站的景点图片,和文字信息,我应该怎样将爬下来的东西进行分类,为我所用?
------解决方案--------------------固定网站好爬啊,用线程写个定时任务,任务周期自己设定。
- 通过java.net包下的工具类实现后台发送http请求以及获取响应内容。
- 分析其页面结构,找到符合自己的数据或者链接
- 将抓取下来的数据持久化
- 将上三部逻辑弄到TimerTask,用Timer调度,定期执行