日期:2014-05-16  浏览次数:20496 次

一亿行删除或修改一千万行的思路总结

        要在一个1亿行的大表中,删除1千万行数据
        在对数据库其他应用影响最小的情况下,以最快的速度完成
        那么操作期间应该注意什么?如果中途中断了,有木有方法再继续?
        如果应用不可停,又该怎么办呢?
        删除了10分之一的数据,索引可能还需重建,统计信息可能也得更新
        由于昂贵的delete操作,Undo空间亚历山大、Redo log 也要担心被撑爆
        而且批量delete虽然影响最小,但是可能会造成大量的空数据块
        如此种种,剪不断、理还乱、是删除,别是一番滋味在心头啊
        
        很显然,删除或更新的方法和数据库的设计及软硬件的配置有重大关系
        不同的数据库设计,采用的方案必然不同,其所谓的因库制宜
       
        在操作之前,最简单也是最重要的事情,那就是作个有效的备份
        无论什么情况下,只要对数据库做变更,都不别忘了有效的备份
        如果条件允许,操作前最好做个有效的全备
        如果不允许,你最起码要备份你要操作的对象和数据
        如果不备份,那便是在钢丝上耍,而且下面就是万丈深渊
       
        思路一:

                        分区表方案的情况讨论
                        这种想法是最基本的,也是后面几种思路的底韵
       
        最差的一种方法大概就是:
        delete from xxx where xxx=xxx
        下班前提交这样一个语句,估计晚上觉都睡不踏实,满脑子都是脚本运行的情况以及可能出现的错误
        如果是分区表,要删掉的数据正好在分区之内,那就最简单了,直接truncate partition,省心省力 
             
        对于1亿的数据量,传统的bulk delete,forall ,for loop等等,效果都不太可观,可分而治之
        可行的方案是:
       
           1.做分区表,逐个分区处理
              如果表未分区又有足够的磁盘空间,可用在线重定义的方法,把表转成分区表
              然而如果业务不可停,在线重定义严重影响数据库正常使用的,最好是晚上干活
            
           2.接着按照表里面的条件,大概100000条记录一个循环,处理完立即提交
          
           3.如果磁盘很大,可以用磁盘换性能,直接用insert替代delete,把满足条件的行记录,插入到新表
              insert的时候还是要用循环,分十万~百万条记录左右,提交一次
            
        未完待续...