日期:2014-05-17  浏览次数:20464 次

Excel 过百万数据的导入,求思路,需求如下,谢谢
过百万数据导入:
1.环境:数据比较乱,有很多重复的数据,
例如名字相同,第一条导入的数据没有电话或者没有其他东西
 第二条数据或者其它条数据 有电话或者其它第一条缺少的东西,需要把第一条没有的东西补全,
 最后生成一个有唯一ID的数据, 下一条数据的生成要在这个ID的基础上 


------解决方案--------------------
在数据库中先建立一个表格,然后使用数据库数据倒入功能,将列一一对应。
你需要的ID可以在建立表格的时候作为int类型自增主键。
------解决方案--------------------
你总的有一个唯一性可以判断重复的东西吧。

名字是不行的,重复率太高。

以身份证号作为ID吧。
------解决方案--------------------
SSIS分批导入应该不会慢吧
------解决方案--------------------
引用:
求快速导入数据的方法

那是没有办法的,百万行数据,光读取写入都要点时间。
------解决方案--------------------
这是数据整理了。。很费时
但只要有规律,就好办