如何解决MySQL InnoDB-在许多项目上使用GROUP BY
我有一个包含id
,date
,ad_id
,ad_network
,ad_event
列的表。
在我的数据库中,有数百万个不同的ad_id
,每个都有与其相关的一些事件。
当我尝试在GROUP BY
上使用ad_id
来计数每个事件时,花费的时间如此之久,出现503错误。
我需要计算不同的AdClickThru
和AdImpression
以便计算点击率。
问题是一个用户可以单击多次,因此我只能算一个AdClickThru
。
查询如下:
SELECT
`ad_network`,`ad_id`,SUM(DISTINCT CASE WHEN `ad_event` = "AdImpression" THEN 1 ELSE 0 END) as AdImpression,SUM(DISTINCT CASE WHEN `ad_event` = "AdClickThru" THEN 1 ELSE 0 END) as AdClickThru
FROM `ads`
WHERE 1
AND `ad_event` IN ("AdImpression","AdClickThru")
AND SUBSTR(`date`,1,7) = "2020-08"
GROUP BY `ad_id`
我在ad_id
和ad_event + date
上都有索引,但是并没有太大帮助。
如何优化此查询? 该数据库将增长到数十亿个条目,甚至更多。
@edit
忘了提到上面的代码是外部查询的内部部分:
SELECT
`ad_network`,SUM(`AdImpression`) as cnt_AdImpression,SUM(`AdClickThru`) as cnt_AdClickThru,100 * SUM(`AdClickThru`) / SUM(`AdImpression`) as ctr
FROM (
SELECT
`ad_network`,SUM(DISTINCT CASE WHEN `ad_event` = "AdClickThru" THEN 1 ELSE 0 END) as AdClickThru
FROM `ads`
WHERE 1
AND `ad_event` IN ("AdImpression","AdClickThru")
AND SUBSTR(`date`,7) = "2020-08" -- better performance
GROUP BY `ad_id`
) a
GROUP BY `ad_network`
ORDER BY ctr DESC
解决方法
问题在于,一个用户可以点击多次,因此我只能算一个AdClickThru。
然后使用MAX()
,而不是COUNT(DISTINCT)
。这样可以得到与您的表达相同的结果,并且效率更高。我还建议重写日期过滤器,使其对索引友好:
SELECT
`ad_network`,`ad_id`,MAX(`ad_event` = 'AdImpression') as AdImpression,MAX(`ad_event` = 'AdClickThru') as AdClickThru
FROM `ads`
WHERE 1
AND `ad_event` IN ('AdImpression','AdClickThru')
AND `date` >= '2020-08-01'
AND `date` < '2020-09-01'
GROUP BY `ad_id`
注意:
-
ad_network
子句中select
的存在使我很困扰:如果每个ad_id
有多个值,则将被定义为未定义。您也可以将此列放在group by
子句中,或者在sélect
子句中使用聚合函数(例如MAX(ad_network)
-或者如果可以接受任意值,则应明确关于any_value()
-
对文字字符串使用单引号,而不是双引号(这是SQL标准)
在主查询和子查询中不需要2个单独的聚合。
您要针对这两种情况分别计算不同的ad_id
:
SELECT ad_network,COUNT(DISTINCT CASE WHEN ad_event = 'AdImpression' THEN ad_id END) AS cnt_AdImpression,COUNT(DISTINCT CASE WHEN ad_event = 'AdClickThru' THEN ad_id END) AS cnt_AdClickThru,100 *
COUNT(DISTINCT CASE WHEN ad_event = 'AdClickThru' THEN ad_id END) /
COUNT(DISTINCT CASE WHEN ad_event = 'AdImpression' THEN ad_id END) AS ctr
FROM ads
WHERE ad_event IN ('AdImpression','AdClickThru') AND SUBSTR(date,1,7) = '2020-08'
GROUP BY ad_network
ORDER BY ctr DESC
这里的问题是您必须重复cnt_AdImpression
和cnt_AdClickThru
的表达式。
您可以在子查询中计算这些表达式:
SELECT ad_network,cnt_AdImpression,cnt_AdClickThru,100 * cnt_AdClickThru / cnt_AdImpression AS ctr
FROM (
SELECT ad_network,COUNT(DISTINCT CASE WHEN ad_event = 'AdClickThru' THEN ad_id END) AS cnt_AdClickThru
FROM ads
WHERE ad_event IN ('AdImpression',7) = '2020-08'
GROUP BY ad_network
) t
ORDER BY ctr DESC
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。