asp.net写了个抓取程序,怎么做可以让我每次用不同的IP去抓。。内详。。
asp.net写了个抓取,
估计被抓取的网站做过一些设置,转时间长了就全部返回webexception.
我想也是同一IP,突然以下开这么多链结,稍微有记录的都会处理一下。。
所以想问,asp.net可以让我每次连接被抓取网站用不同的IP吗?
------解决方案--------------------这个比较难的实现,你可以收集一些代理IP,使用代理去进行抓取,不过,现在的很多代理都是不能使用的
------解决方案--------------------asp.net不要想这些东西了吧。不是说不能实现。而是用asp.net弄这些很划不来啊。
------解决方案--------------------没办法的,除非你手动VPN换IP吧
------解决方案--------------------不会有ip访问频率。
有采集价值的网站,访问量都不小呢。
------解决方案--------------------设置时间间隔就可以了
------解决方案--------------------adsl,间隔一段时间就让他重新拨号,这可以吧?