日期:2014-05-17  浏览次数:20774 次

大批量数据怎么"插"才舒服?
在考虑了优化的情况下

有时数据一个表有时同时间会有几万数据同时提交上来~ 这时web会插入数据直接至超时也没成完成,形成假死都有可能. 容易丢失数据. 

打算写个队列线程让他们后台慢慢扯蛋的插. 插完一批又一批.

大伙平时怎么做?  阅历浅, 未试过这么大数据处理的.


这可不是数据导入或什么的.

------解决方案--------------------
如果数据量特别大,建议放入队列中,另外起一个线程,用线程批量插入,插完了线程关闭
------解决方案--------------------
生产者-消费者模式来..
------解决方案--------------------
底层的数据实现都会有针对批优化的方法的,比如jdbc的Batch方法,sql的BULK关键字等。
客户端通过js也可以进行优化,比如先写入变量再分批提交。
------解决方案--------------------
事件驱动,后台异步处理
------解决方案--------------------
引用:
事件驱动,后台异步处理

其实就是开个线程单独处理。
+1
------解决方案--------------------
使用缓存 一次性肯定不行。。分批量的插入。。这样舒服。。
------解决方案--------------------
哪有你这样插的呀,不死都残废, 分批次来,另外要看你服务器的处理能力了