求助C#多线程抓取网页
URl:http://www.qiushibaike.com/8hr/page/4
我要用c# 多线程去下载
构造Url即为http://www.qiushibaike.com/8hr/page/{0}-9999
现在的程序是单线程,下载速度很慢。
尝试使用多线程,采用的线程数组的方式,但是运行结果同单线程下载差不多。
求问某些网站采集器设置多线程数量的那种抓取 下载速度为为啥那么快。。求代码
------解决方案--------------------我理解的是多线程是更多的利用网络资源,单线程利用的网络资源是有上限的
------解决方案--------------------假设下载一个页面需要10秒,多线程并不能加快这个速度,
而是可以开十个线程,分别下载不同的页面,
那么在10秒后可以得到10个页面。
但若是网站有限制的话,就不能多线程访问了。
------解决方案--------------------单线程慢的话,多线程也不会快到哪里去的。
------解决方案--------------------用线程池吧。
系统帮你调度线程。
------解决方案--------------------其实同样道理 你启动10个线程就行了啊.
page/{0}-9999 每个线程控制下啊. lock 控制好即可.