日期:2014-05-16  浏览次数:20385 次

数据库重复数据的查询及删除(转)

表stuinfo,有三个字段recno(自增),stuid,stuname
  
  建该表的Sql语句如下:
  
  CREATE TABLE [StuInfo] (
   [recno] [int] IDENTITY (1, 1) NOT NULL ,
   [stuid] [varchar] (10) COLLATE Chinese_PRC_CI_AS NOT NULL ,
   [stuname] [varchar] (10) COLLATE Chinese_PRC_CI_AS NOT NULL
  ) ON [PRIMARY]
  GO
  
  1.--查某一列(或多列)的重复值(只能查出重复记录的值,不能整个记录的信息)
  --如:查找stuid,stuname重复的记录
  select stuid,stuname from stuinfo
  group by stuid,stuname
  having(count(*))>1
  
  2.--查某一列有重复值的记录(这种方法查出的是所有重复的记录,也就是说如果有两条记录重复的,就查出两条)
  --如:查找stuid重复的记录
  select * from stuinfo
  where stuid in (
  select stuid from stuinfo
  group by stuid
  having(count(*))>1
  )
  
  3.--查某一列有重复值的记录(只显示多余的记录,也就是说如果有三条记录重复的,就显示两条)
  --这种方成绩的前提是:需有一个不重复的列,本例中的是recno
  --如:查找stuid重复的记录
  select * from stuinfo s1
  where recno not in (
  select max(recno) from stuinfo s2
  where s1.stuid=s2.stuid
  )

--------------------------------------------------------------

?

?

?

在一张表中某个字段下面有重复记录,有很多方法,但是有一个方法,是比较高效的,如下语句:
select data_guid from adam_entity_datas a where a.rowid > (select min(b.rowid) from adam_entity_datas b where b.data_guid = a.data_guid)
如果表中有大量数据,但是重复数据比较少,那么可以用下面的语句提高效率
select data_guid from adam_entity_datas where data_guid in (select data_guid from adam_entity_datas group by data_guid having count(*) > 1)
此方法查询出所有重复记录了,也就是说,只要是重复的就选出来,下面的语句也许更高效
select data_guid from adam_entity_datas where rowid in (select rid from (select rowid rid,row_number()over(partition by data_guid order by rowid) m from adam_entity_datas) where m <> 1)
目前只知道这三种比较有效的方法。

第一种方法比较好理解,但是最慢,第二种方法最快,但是选出来的记录是所有重复的记录,而不是一个重复记录的列表,第三种方法,我认为最好。

========第二篇=========
select usercode,count(*)?????? from ptype???? group by usercode???? having count(*) >1??
========第三篇=========
找出重复记录的ID:
select ID????? from??????
(???????? select ID ,count(*) as Cnt
from 要消除重复的表
group by ID
) T1
where T1.cnt>1??

删除数据库中重复数据的几个方法???
????????? 数据库的使用过程中由于程序方面的问题有时候会碰到重复数据,重复数据导致了数据库部分设置不能正确设置……?????
方法一???
??????? declare @max integer,@id integer???
??????? declare cur_rows cursor local for select 主字段,count(*) from?????
??????????? 表名 group by 主字段 having count(*) > 1
  open cur_rows
  fetch cur_rows into @id,@max
  while @@fetch_status=0
  begin
  select @max = @max -1
  set rowcount @max
  delete from 表名 where 主字段 = @id
  fetch cur_rows into @id,@max
  end
  close cur_rows
  set rowcount 0???
???
方法二??
有两个意义上的重复记录,一是完全重复的记录,也即所有字段均重复的记录,二是部分关键字段重复的记录,比如Name字段重复,而其他字段不一定重复或都重复可以忽略。???
????
1、对于第一种重复,比较容易解决,使用???
????? select distinct * from tableName???
??? 就可以得到无重复记录的结果集。??
如果该表需要删除重复的记录,可以按以下方法删除??
select distinct * into #Tmp from tableName??
drop table tableName??
select * into tableName from #Tmp??
drop table #Tmp???
????
2、这类重复问题通常要求保留重复记录中的第一条记录,*作方法如下??
假设有重复的字段为Name,Address,要求得到这两个字段唯一的结果集??
 select identity(int,1,1) as autoID, * into #Tmp from?????
tableName??
 select min(autoID) as autoID into #Tmp2 from #Tmp group by?????
Name,autoID??
select * from #Tmp where autoID in(select autoID from?????
#tmp2)???
????
最后一个select即得到了Name,Address不重复的结果集??
更改数据库中表的所属用户的两个方法??
大家可能会经常碰到一个数据库备份还原到另外一台机器结果导致所有的表都不能打开了,原因是建表的时候采用了当时的数据库用户……????
========第四篇=========
如何查询数据库中的重复记录?

比如说有个表中的数据是这样:
---------
a
a
a
b
b
c
---------

查询出的结果是:
记录?? 数量
a ?? ?? ??? 3
b ?? ?? ??? 2
c ?? ?? ??? 1

怎样写这个SQL语句?
-----------------------
select distinct(name),count(*) from tabname group by name;
-------------------------------------
想出来了,这样就可以排序了。
select a1,count(a1)?? as total from tablename group by a1 order by total desc
--------------------------------------