MYSQL里有五百万数据，但大多是重复的，真实的就180万，于是想怎样把这些重复的数据搞出来，在网上找了一圈，好多是用NOT IN这样的代码，这样效率很低，自己琢磨组合了一下，找到一个高效的处理方式，用这个方式，五百万数据，十来分钟就全部去除重复了，请各位参考。
第一步：从500万数据表data_content_152里提取出不重复的字段SFZHM对应的ID字段到TMP3表
create table tmp3 as select min(id) as col1 from data_conten
文章目录stata清洗数据——去除重复数据方法stata中的_N和_n（是去重操作的基础）去重操作对单一列：id对两列（及以上）：date 和 证券代码
stata清洗数据——去除重复数据方法
stata中的_N和_n（是去重操作的基础）
这个博客讲的非常清楚：
stata:变量排序及_n与_N的用法
sort 证券代码 date
by 证券代码 date:gen daycount = _N //对证券代码和date相同的观测：则产生计数变量：_N
by date 证券代码: gen set=
MySQL 去除重复数据实例详解
有两个意义上的重复记录，一是完全重复的记录，也即所有字段均都重复，二是部分字段重复的记录。对于第一种重复，比较容易解决，只需在查询语句中使用distinct关键字去重，几乎所有数据库系统都支持distinct操作。发生这种重复的原因主要是表设计不周，通过给表增加主键或唯一索引列即可避免。
select distinct * from t;
对于第二类重复问题，通常要求查询出重复记录中的任一条记录。假设表t有id,name,address三个字段，id是主键，有
