写了爬虫程序,程序运行了大概5分钟左右CPU100% 单内存不高 多线程调用
写了爬虫程序,程序运行了大概5分钟左右CPU100% 单内存不高 多线程调用
电脑:CPU 8核 2.13Ghz
内存:12G
程序运行5分钟左右:CPU100% 内存:1.4G 左右
怎么判断是哪个地方出了问题???????
------解决方案--------------------您得慢慢来,步子跨大了,容易....
控制线程的数量
------解决方案--------------------可以通过HashTable 来控制Create Remove 线程数量.
------解决方案--------------------线程别太多了,把不必要的线程去掉
------解决方案--------------------有数据库操作吗?