日期:2014-05-17  浏览次数:20838 次

一个大数据量的硬性问题
本人做了个一个窗体程序。功能是读取EXCEL中数据然后再程序里加工统计。

问题:现在因为数据量庞大,已达到25万条。如何读取这些数据竟而操作处理。因为数据量大,直接去读肯定会出异常。直接操作也是。

请各位说说自己的处理方式。

------解决方案--------------------
将excel的数据导入到数据库,再读取数据库处理,sql语句,想怎么统计就怎么统计,25w在数据库中不算多
------解决方案--------------------
1. 首先将读取的数据进库,这是最明智的选择。进库建议使用BULKCOPY 将25W条数据分批进库。
2. 进库后 根据自己的业务逻辑需要进行数据处理.