1. 爱易网页
  2. Java教程
  3. 有关网络爬虫速度,该怎么处理

有关网络爬虫速度,该怎么处理

日期：2014-05-20　 浏览次数：21363 次

有关网络爬虫速度
最近在写了个爬虫，在一个网站爬东西，但是爬取页面比较多，被封ip了，虽然他允许输入验证码解封，但是数据量比较大，不能一直这样做，如何降低自己的速度，或者流量之类的，防止出现这种情况

------解决方案--------------------
Thread.sleep(10*1000); 然线程歇个10秒

相关资料更多>

  1. 怎么进行模糊查询，时间字段的值为2007-6-22 12:40，小弟我想查询2007-6是否可以
  2. 自各儿开发的MailServer 外发邮件实现
  3. 百度面试题 算法（一）,该如何处理
  4. 请教J2ME比J2EE是否要简单些
  5. lang.IllegalArgumentException: org.hibernate.hql.ast.QuerySyntaxException:
  6. JAVA和.NET的市场比例是怎样的？解决办法
  7. 页面时间格式为yyyy-mm-dd hh:mm:ss.0是如何回事
  8. Hibernate 缓存有关问题+自动Update有关问题。求高手求大神
  9. 哪位高手有基于SAStruts框架的小项目，麻烦分享一下，本人想学习学习！