日期:2014-05-16  浏览次数:20500 次

【转载】数据库中重复数据的查询
原文地址:http://zhouhua.blog.51cto.com/601404/167634,希望大家到源地址去看,支持作者。本文只是本人留下来作为记录。[size=xx-large][/size]

========第一篇=========
在一张表中某个字段下面有重复记录,有很多方法,但是有一个方法,是比较高效的,如下语句:
select data_guid from adam_entity_datas a where a.rowid > (select min(b.rowid) from adam_entity_datas b where b.data_guid = a.data_guid)
如果表中有大量数据,但是重复数据比较少,那么可以用下面的语句提高效率
select data_guid from adam_entity_datas where data_guid in (select data_guid from adam_entity_datas group by data_guid having count(*) > 1)
此方法查询出所有重复记录了,也就是说,只要是重复的就选出来,下面的语句也许更高效
select data_guid from adam_entity_datas where rowid in (select rid from (select rowid rid,row_number()over(partition by data_guid order by rowid) m from adam_entity_datas) where m <> 1)
目前只知道这三种比较有效的方法。
第一种方法比较好理解,但是最慢,第二种方法最快,但是选出来的记录是所有重复的记录,而不是一个重复记录的列表,第三种方法,我认为最好。

========第二篇=========
select usercode,count(*)       from ptype     group by usercode     having count(*) >1 
========第三篇=========
找出重复记录的ID:
select ID      from     
(         select ID ,count(*) as Cnt
from 要消除重复的表
group by ID
) T1
where T1.cnt>1 

删除数据库中重复数据的几个方法  
          数据库的使用过程中由于程序方面的问题有时候会碰到重复数据,重复数据导致了数据库部分设置不能正确设置……    
方法一  
        declare @max integer,@id integer  
        declare cur_rows cursor local for select 主字段,count(*) from    
            表名 group by 主字段 having count(*) > 1
  open cur_rows
  fetch cur_rows into @id,@max
  while @@fetch_status=0
  begin
  select @max = @max -1
  set rowcount @max
  delete from 表名 where 主字段 = @id
  fetch cur_rows into @id,@max
  end
  close cur_rows
  set rowcount 0  
  
方法二 
有两个意义上的重复记录,一是完全重复的记录,也即所有字段均重复的记录,二是部分关键字段重复的记录,比如Name字段重复,而其他字段不一定重复或都重复可以忽略。  
   
1、对于第一种重复,比较容易解决,使用  
      select distinct * from tableName  
    就可以得到无重复记录的结果集。 
如果该表需要删除重复的记录,可以按以下方法删除 
select distinct * into #Tmp from tableName 
drop table tableName 
select * into tableName from #Tmp 
drop table #Tmp  
   
2、这类重复问题通常要求保留重复记录中的第一条记录,*作方法如下 
假设有重复的字段为Name,Address,要求得到这两个字段唯一的结果集 
 select identity(int,1,1) as autoID, * into #Tmp from    
tableName 
 select min(autoID) as autoID into #Tmp2 from #Tmp group by    
Name,autoID 
select * from #Tmp where autoID in(select autoID from    
#tmp2)  
   
最后一个select即得到了Name,Address不重复的结果集 
更改数据库中表的所属用户的两个方法 
大家可能会经常碰到一个数据库备份还原到另外一台机器结果导致所有的表都不能打开了,原因是建表的时候采用了当时的数据库用户……   
========第四篇=========
如何查询数据库中的重复记录?

比如说有个表中的数据是这样:
---------
a
a
a
b
b
c
---------

查询出的结果是:
记录   数量
a           3
b           2
c           1

怎样写这个SQL语句?
-----------------------
select distinct(name),count(*) from tabname group by name;
-------------------------------------
想出来了,这样就可以排序了。
select a1,count(a1)