日期:2014-05-17  浏览次数:20926 次

求助C#多线程抓取网页
URl:http://www.qiushibaike.com/8hr/page/4
我要用c# 多线程去下载
构造Url即为http://www.qiushibaike.com/8hr/page/{0}-9999
现在的程序是单线程,下载速度很慢。
尝试使用多线程,采用的线程数组的方式,但是运行结果同单线程下载差不多。
求问某些网站采集器设置多线程数量的那种抓取 下载速度为为啥那么快。。求代码
多线程 C#

------解决方案--------------------
我理解的是多线程是更多的利用网络资源,单线程利用的网络资源是有上限的
------解决方案--------------------
假设下载一个页面需要10秒,多线程并不能加快这个速度,
而是可以开十个线程,分别下载不同的页面,
那么在10秒后可以得到10个页面。

但若是网站有限制的话,就不能多线程访问了。

------解决方案--------------------
单线程慢的话,多线程也不会快到哪里去的。
------解决方案--------------------
用线程池吧。

系统帮你调度线程。


------解决方案--------------------
其实同样道理 你启动10个线程就行了啊.

page/{0}-9999  每个线程控制下啊. lock 控制好即可.