日期:2014-05-16  浏览次数:20514 次

JS实现的爬虫,你觉得有用不
首先澄清一下,JS实现的爬虫是指用JS实现解析逻辑的爬虫,大概的想法就是把某个页面的内容下载下来,像IE或者Firefox那样把HTML的内容解析成DOM树,然后用JS解析页面的内容,得到自己想要的东西。

为什么要用JS呢?一是会JS的人基本都是搞WEB相关的东西的,DOM什么的都是熟人熟路;二是JS里面像CSS selector、jquery这样方便的东西,用起来应该是很爽的。

如果有这么个东西,大家以后没事爬爬数据的时候还是很方便的。

大家觉得这个主意怎么样?要是觉得好的人多,我打算找人一起弄个比较成熟的包出来 。
1 楼 wjjchen 2011-01-21  
JS如何跨域抓取数据?
2 楼 hackwaly 2011-01-21  
不错有想法
1L的问题可以通过修改浏览器的源代码实现
3 楼 illu 2011-01-22  
我想请教下 你如何把别人的HTML网页用JS转换成DOM对象?
4 楼 kyfxbl 2011-01-22  
hackwaly 写道
不错有想法
1L的问题可以通过修改浏览器的源代码实现


有什么用?你改完浏览器的源代码,然后呢?就你自己一个人自娱自乐?还是拿出¥来推广你这浏览器?
5 楼 yonglin4605 2011-01-22  
kyfxbl 写道
hackwaly 写道
不错有想法
1L的问题可以通过修改浏览器的源代码实现


有什么用?你改完浏览器的源代码,然后呢?就你自己一个人自娱自乐?还是拿出¥来推广你这浏览器?


目的是为了实现爬虫,不是黑客吧。
本来就是自用的,不需要改别人的浏览器啊
6 楼 181054867 2011-01-22  
有必要用JS做这个事情吗?
7 楼 wangking717 2011-01-22  
这个首要条件是需要解决JS跨域问题。
8 楼 tsoukw 2011-01-23  
用js的唯一目的可能就是解析dom方便吧,但是效率应该很低,因为是要通过浏览器先显示成html,然后再析出dom模型供js调用,应该说意义 不是很大

参考一下这个博客园的网友的作品:
Jumony入门(一)从这里开始
http://www.cnblogs.com/Ivony/archive/2010/12/19/jumony-guide-1.html
9 楼 kjj 2011-01-23  
js爬虫?要把网页解析成dom树,我觉得面临最大的问题是,如果面对各种不规范的html,看你有啥办法!!!!
10 楼 mikab 2011-01-24  
可能我说的不是很清楚。

JS实现的爬虫是指用JS实现解析逻辑的爬虫,但是资源的下载以及生成DOM等操作都是由Java来实现的。按照我帖子所说,用JS实现解析逻辑,主要还是看重了JS对DOM的天生友好以及很多的外部的库。



当然,脚本语言肯定不是java等编译语言跑的快,这是不可避免的缺陷。但是对于广大的不是专业爬虫开发人员来说,有个能使、方便的抓数据的东东,应该还是有用的。
11 楼 mikab 2011-01-24  
kyfxbl 写道
hackwaly 写道
不错有想法
1L的问题可以通过修改浏览器的源代码实现


有什么用?你改完浏览器的源代码,然后呢?就你自己一个人自娱自乐?还是拿出¥来推广你这浏览器?



我们不做浏览器,我们只做工具软件包。
12 楼 mikab 2011-01-24  
kjj 写道
js爬虫?要把网页解析成dom树,我觉得面临最大的问题是,如果面对各种不规范的html,看你有啥办法!!!!


我们不需要自己从头做起,可以有很多的开源的代码可以用的。


另外如果只做解析,不做显示,应该麻烦会小很多。
13 楼 wangking717 2011-01-26  
mikab 写道
可能我说的不是很清楚。

JS实现的爬虫是指用JS实现解析逻辑的爬虫,但是资源的下载以及生成DOM等操作都是由Java来实现的。按照我帖子所说,用JS实现解析逻辑,主要还是看重了JS对DOM的天生友好以及很多的外部的库。



当然,脚本语言肯定不是java等编译语言跑的快,这是不可避免的缺陷。但是对于广大的不是专业爬虫开发人员来说,有个能使、方便的抓数据的东东,应该还是有用的。


如果资源的下载都是JAVA来实现,就不存在着跨域的问题了。LZ仅仅用JS来实现DOM的解析,很方便?用下HTMLp