Excel 过百万数据的导入,求思路,需求如下,谢谢
过百万数据导入:
1.环境:数据比较乱,有很多重复的数据,
例如名字相同,第一条导入的数据没有电话或者没有其他东西
第二条数据或者其它条数据 有电话或者其它第一条缺少的东西,需要把第一条没有的东西补全,
最后生成一个有唯一ID的数据, 下一条数据的生成要在这个ID的基础上
------解决方案--------------------在数据库中先建立一个表格,然后使用数据库数据倒入功能,将列一一对应。
你需要的ID可以在建立表格的时候作为int类型自增主键。
------解决方案--------------------你总的有一个唯一性可以判断重复的东西吧。
名字是不行的,重复率太高。
以身份证号作为ID吧。
------解决方案--------------------SSIS分批导入应该不会慢吧
------解决方案--------------------
那是没有办法的,百万行数据,光读取写入都要点时间。
------解决方案--------------------这是数据整理了。。很费时
但只要有规律,就好办