大批量数据怎么"插"才舒服?
在考虑了优化的情况下
有时数据一个表有时同时间会有几万数据同时提交上来~ 这时web会插入数据直接至超时也没成完成,形成假死都有可能. 容易丢失数据.
打算写个队列线程让他们后台慢慢扯蛋的插. 插完一批又一批.
大伙平时怎么做? 阅历浅, 未试过这么大数据处理的.
这可不是数据导入或什么的.
------解决方案--------------------如果数据量特别大,建议放入队列中,另外起一个线程,用线程批量插入,插完了线程关闭
------解决方案--------------------生产者-消费者模式来..
------解决方案--------------------底层的数据实现都会有针对批优化的方法的,比如jdbc的Batch方法,sql的BULK关键字等。
客户端通过js也可以进行优化,比如先写入变量再分批提交。
------解决方案--------------------事件驱动,后台异步处理
------解决方案--------------------
其实就是开个线程单独处理。
+1
------解决方案--------------------使用缓存 一次性肯定不行。。分批量的插入。。这样舒服。。
------解决方案--------------------哪有你这样插的呀,不死都残废, 分批次来,另外要看你服务器的处理能力了