JR 精品文章 - 删除重复数据的方法。
AD: jr (at) javaresearch.org


首页 | 动态 | 文章 | FAQ  | 新闻 | 下载 | 代码 | 工作 | 调查 | 术语 | 站点 | 图书 | 论坛 | 帮助 | 全部  

TOP | 交流 | 软件 | 专栏 | 开源 | 译/著 | 源码 | API  | 推荐 | FTP  | 积分 | 统计 | 搜索 | Blog | 我们  
首页 » 研究文集 » 数据库相关 搜索标题相关文章 搜索标题相关文章    评论此文章 发表评论     开始监控此文章 开始监控   加入收藏夹  加入收藏夹
删除重复数据的方法。
qingyuan914 转贴   更新:2008-05-20 11:46:27  版本: 1.0   

学习sql有一段时间了,发现在我建了一个用来测试的表(没有建索引)中出现了许多的重复记录。后来总结了一些删除重复记录的方法,在Oracle中,可以通过唯一rowid实现删除重复记录;还可以建临时表来实现...这个只提到其中的几种简单实用的方法,希望可以和大家分享(以表employee为例)。 


SQL> desc employee 



 Name                                      Null?    Type
 ----------------------------------------- -------- ------------------ 



emp_id                                                NUMBER(10)
emp_name                                           VARCHAR2(20) 



salary                                                  NUMBER(10,2) 




 



 


可以通过下面的语句查询重复的记录: 



SQL> select * from employee; 




 


    EMP_ID EMP_NAME                                  SALARY 



---------- ---------------------------------------- ---------- 



         1 sunshine                                      10000 



         1 sunshine                                      10000 



         2 semon                                         20000 



         2 semon                                         20000 



         3 xyz                                           30000 



         2 semon                                         20000 




 



SQL> select distinct * from employee; 



    EMP_ID EMP_NAME                                     SALARY 



---------- ---------------------------------------- ---------- 



         1 sunshine                                      10000 



         2 semon                                         20000 



         3 xyz                                             30000 



SQL>  select * from employee group by emp_id,emp_name,salary having count (*)>1 



    EMP_ID EMP_NAME                                     SALARY 



---------- ---------------------------------------- ---------- 



         1 sunshine                                      10000 



         2 semon                                          20000 




SQL> select * from employee e1 



where rowid in (select max(rowid) from employe e2 
 where e1.emp_id=e2.emp_id and 



  e1.emp_name=e2.emp_name and e1.salary=e2.salary); 




 


    EMP_ID EMP_NAME                                     SALARY 



---------- ---------------------------------------- ---------- 



         1 sunshine                                      10000 



         3 xyz                                             30000 



         2 semon                                         20000 




 



 


2. 删除的几种方法: 




 


(1)通过建立临时表来实现 



SQL>create table temp_emp as (select distinct * from employee)  



SQL> truncate table employee; (清空employee表的数据) 



SQL> insert into employee select * from temp_emp;  (再将临时表里的内容插回来) 




 


( 2)通过唯一rowid实现删除重复记录.在Oracle中,每一条记录都有一个rowid,rowid在整个数据库中是唯一的,rowid确定了每条记录是在Oracle中的哪一个数据文件、块、行上。在重复的记录中,可能所有列的内容都相同,但rowid不会相同,所以只要确定出重复记录中那些具有最大或最小rowid的就可以了,其余全部删除。 



SQL>delete from employee e2 where rowid not in (
        select max(e1.rowid) from employee e1 where 



        e1.emp_id=e2.emp_id and e1.emp_name=e2.emp_name and e1.salary=e2.salary);--这里用min(rowid)也可以。 




 


SQL>delete from employee e2 where rowid <(
        select max(e1.rowid) from employee e1 where 
        e1.emp_id=e2.emp_id and e1.emp_name=e2.emp_name and 



                  e1.salary=e2.salary); 




 


(3)也是通过rowid,但效率更高。 



SQL>delete from employee where rowid not in (
        select max(t1.rowid) from employee t1 group by 



         t1.emp_id,t1.emp_name,t1.salary);--这里用min(rowid)也可以。 







 


    EMP_ID EMP_NAME                                     SALARY 



---------- ---------------------------------------- ---------- 



         1 sunshine                                      10000 



         3 xyz                                             30000 



         2 semon                                         20000 




 


  




 








SQL> desc employee 



 Name                                      Null?    Type
 ----------------------------------------- -------- ------------------ 



emp_id                                                NUMBER(10)
emp_name                                           VARCHAR2(20) 



salary                                                  NUMBER(10,2) 




 



 


可以通过下面的语句查询重复的记录: 



SQL> select * from employee; 




 


    EMP_ID EMP_NAME                                  SALARY 



---------- ---------------------------------------- ---------- 



         1 sunshine                                      10000 



         1 sunshine                                      10000 



         2 semon                                         20000 



         2 semon                                         20000 



         3 xyz                                           30000 



         2 semon                                         20000 




 



SQL> select distinct * from employee; 



    EMP_ID EMP_NAME                                     SALARY 



---------- ---------------------------------------- ---------- 



         1 sunshine                                      10000 



         2 semon                                         20000 



         3 xyz                                             30000 



SQL>  select * from employee group by emp_id,emp_name,salary having count (*)>1 



    EMP_ID EMP_NAME                                     SALARY 



---------- ---------------------------------------- ---------- 



         1 sunshine                                      10000 



         2 semon                                          20000 




SQL> select * from employee e1 



where rowid in (select max(rowid) from employe e2 
 where e1.emp_id=e2.emp_id and 



  e1.emp_name=e2.emp_name and e1.salary=e2.salary); 




 


    EMP_ID EMP_NAME                                     SALARY 



---------- ---------------------------------------- ---------- 



         1 sunshine                                      10000 



         3 xyz                                             30000 



         2 semon                                         20000 




 



 


2. 删除的几种方法: 




 


(1)通过建立临时表来实现 



SQL>create table temp_emp as (select distinct * from employee)  



SQL> truncate table employee; (清空employee表的数据) 



SQL> insert into employee select * from temp_emp;  (再将临时表里的内容插回来) 




 


( 2)通过唯一rowid实现删除重复记录.在Oracle中,每一条记录都有一个rowid,rowid在整个数据库中是唯一的,rowid确定了每条记录是在Oracle中的哪一个数据文件、块、行上。在重复的记录中,可能所有列的内容都相同,但rowid不会相同,所以只要确定出重复记录中那些具有最大或最小rowid的就可以了,其余全部删除。 



SQL>delete from employee e2 where rowid not in (
        select max(e1.rowid) from employee e1 where 



        e1.emp_id=e2.emp_id and e1.emp_name=e2.emp_name and e1.salary=e2.salary);--这里用min(rowid)也可以。 




 


SQL>delete from employee e2 where rowid <(
        select max(e1.rowid) from employee e1 where 
        e1.emp_id=e2.emp_id and e1.emp_name=e2.emp_name and 



                  e1.salary=e2.salary); 




 


(3)也是通过rowid,但效率更高。 



SQL>delete from employee where rowid not in (
        select max(t1.rowid) from employee t1 group by 



         t1.emp_id,t1.emp_name,t1.salary);--这里用min(rowid)也可以。 







 


    EMP_ID EMP_NAME                                     SALARY 



---------- ---------------------------------------- ---------- 



         1 sunshine                                      10000 



         3 xyz                                             30000 



         2 semon                                         20000 




版权声明  
本篇文章对您是否有帮助?  投票:         投票结果:     22       3
作者其它文章: 作者全部文章
评论人:chyohumor 发表时间: Thu May 22 15:46:25 CST 2008
写的不怎的啊!!
评论人:ycp2008 发表时间: Fri May 30 11:16:06 CST 2008
还算不错 但是我建议还是要写点重点
评论人:adlin1225 发表时间: Thu Nov 06 10:23:35 CST 2008
恩,还可以

这个文章共有 3 条评论
主题: Oracle SQL 优化原则(摘) 上一篇文章
返回文章列表 返回〔数据库相关〕
下一篇文章 主题: sql server2005 jdbc解决自动增长列统一


文字广告链接
        自主、快速定制基于JAVA的B/S业务系统          重量级企业在线自定义WEB报表平台
        Excel制表、零代码发布、打印、图表结合——快逸报表,免费、稳定、功能强大的java工具
        技术圈: 关于Java、dotNet、PHP、Ruby、奇客、Web2.0等更多资讯博客精选文章

关于 JR  |  版权声明  |  联系我们 

©2002-2006 JR 版权所有 沪ICP备05019622号