日期:2014-05-18  浏览次数:20425 次

■■■■■讨论如何 实现比较快速的读取5000万条数据■■■■■
大家推荐各种方法什么好的办法   实现比较快速的读取5000万条数据

用户需求大概是:ms   sql数据有5000万篇文章   想得到的结果就是读出他们   然后每篇写成一个txt文件。


假设写txt文件需要的时间忽略不考虑   那么如何加快整个过程的速度节省时间呢   谢谢各位的看法

------解决方案--------------------
因为主要涉及磁盘的I/O 问题,可以考虑对大表分区,使用磁盘阵列等方法。
------解决方案--------------------
Mark,
studying ...
------解决方案--------------------
用bcp分批导,然后依次拼接
------解决方案--------------------
学习
------解决方案--------------------
肯定要充分利用并行性,多线程读取。物理上分表、分区提高IO能力都是可行的。
------解决方案--------------------
肯定要充分利用并行性,多线程读取。物理上分表、分区提高IO能力都是可行的???
一个线程读取记录,一次取一定量的数据,之后写,再读再写
感觉效率也不高啊