原标题:SQL去重是用DISTINCT好,还是GROUP BY好?
我们知道DISTINCT可以去掉重复数据,GROUP BY在分组后也会去掉重复数据,那这两个关键字在去掉重复数据时的效率,究竟谁会更高一点?
1、使用DISTINCT去掉重复数据
我们先看下面这个例子:
SELECTDISTINCTUnitPriceFROM[Sales].[SalesOrderDetail]WHEREUnitPrice>1000;执行完之后的结果如下:
接下来,我们将这个表里的数据增大到194万条,再重复上面的实验。
--将表SalesOrderDetail插入到一张物理表中SELECT*INTOSales.Temp_SalesOrderFROM[Sales].[SalesOrderDetail] ;
--通过新增的物理表进行自循环插入3次,将数据增加到1941072行
DECLARE@iINT;SET@i=0WHILE@i<4BEGIN--这里没有将SalesOrderDetailID这个自增长的放在列中,是为了让系统自动填充不同的数字进去,保证唯一性。INSERTINTOSales.Temp_SalesOrder(SalesOrderID,CarrierTrackingNumber,OrderQty,ProductID,SpecialOfferID,UnitPrice,UnitPriceDiscount,LineTotal,rowguid,ModifiedDate)
SELECTSalesOrderID,CarrierTrackingNumber,OrderQty,ProductID,SpecialOfferID,UnitPrice,UnitPriceDiscount,LineTotal,NEWID,ModifiedDateFROMSales.Temp_SalesOrderSET@i=@i+1;END;
SELECTCOUNT(1)FROMSales.Temp_SalesOrder;
(提示:可以左右滑动代码)
如下图,将自增长标识的是换成否后即可插入了。
INSERTINTOsales.Temp_SalesorderSELECTTOP1000*FROMsales.Temp_Salesorder;数据插入完整后,我们在将上一讲的内容重复一下,看看效果如何?
A.在没建索引的情况下,我们只查询UnitPrice这一列
SELECTUnitPriceFROMSales.Temp_SalesOrder ;我们看一下执行情况:
接下来是鉴证奇迹的时刻了,我们加DISTINCT在UnitPrice前面试试。
SELECTDISTINCTUnitPriceFROMsales.Temp_Salesorder;和之前的实验结果一致,在执行时间没有多大差别的情况下,分析时间成倍的减少了。
B.当SalesOrderDetailID取消掉自增长属性后就和普通列一样了。
我们来重复上面的步骤:
SELECTSalesOrderDetailIDFROMsales.Temp_Salesorder执行完后结果如下:
与上面的UnitPrice没使用DISTINCT情况基本一致。
然后我们给SalesOrderDetailID加上DISTINCT后会怎么样呢?
SELECTDISTINCTSalesOrderDetailIDFROMsales.Temp_Salesorder我们可以看到如下执行情况:
从上图可以看到,DISTINCT已经排除了1000条记录,但是在执行时花的时间比没加DISTINCT更久了。
通过上述两个实验,我们可以得出这样一条结论:在重复量比较高的表中,使用DISTINCT可以有效提高查询效率,而在重复量比较低的表中,使用DISTINCT会严重降低查询效率。所以并不是所有的DISTINCT都是降低效率的,当然你得提前判断数据的重复量。
2、GROUP BY与DISTINCT去掉重复数据的对比
GROUP BY与DISTINCT类似,经常会有一些针对这两个哪个效率高的争议,今天我们就将这两个在不同重复数据量的效率作下对比。
A.重复数据量多的情况下,对UnitPrice进行去重
SELECTDISTINCTUnitPriceFROMsales.Temp_Salesorder;SELECTUnitPriceFROMsales.Temp_SalesorderGROUPBYUnitPrice;将上述两条语句一起执行,结果如下:
可以看出两条语句对应的执行时间GROUP BY比DISTINCT效率高一点点。
B.重复数据量少的情况下,对SalesOrderDetailID进行去重
SELECTDISTINCTSalesOrderDetailIDFROMsales.Temp_SalesorderSELECTSalesOrderDetailIDFROMsales.Temp_SalesorderGROUPBYSalesOrderDetailID也是同时执行上述两条语句,其结果如下:
作者对上述语句同时执行多次,针对重复量多的UnitPrice,GROUP BY总的处理效率比DISTINCT高一点点,但是针对重复量低的SalesOrderDetailID,DISTINCT就比GROUP BY快一点了,而如果随着整体数据量的增加,效果会越来越明显。
今天的内容就讲到这里,小伙伴可以动手尝试一下。返回搜狐,查看更多
责任编辑: