■■■■■讨论如何 实现比较快速的读取5000万条数据■■■■■
大家推荐各种方法什么好的办法 实现比较快速的读取5000万条数据
用户需求大概是:ms sql数据有5000万篇文章 想得到的结果就是读出他们 然后每篇写成一个txt文件。
假设写txt文件需要的时间忽略不考虑 那么如何加快整个过程的速度节省时间呢 谢谢各位的看法
------解决方案--------------------因为主要涉及磁盘的I/O 问题,可以考虑对大表分区,使用磁盘阵列等方法。
------解决方案--------------------Mark,
studying ...
------解决方案--------------------用bcp分批导,然后依次拼接
------解决方案--------------------学习
------解决方案--------------------肯定要充分利用并行性,多线程读取。物理上分表、分区提高IO能力都是可行的。
------解决方案--------------------肯定要充分利用并行性,多线程读取。物理上分表、分区提高IO能力都是可行的???
一个线程读取记录,一次取一定量的数据,之后写,再读再写
感觉效率也不高啊