使用bigquery连接来自两个来源的数据

如何解决使用bigquery连接来自两个来源的数据

任何人都可以检查下面的代码是否正确？在cte_1中，我将从t1的摘要中提取所有维度和指标，值1，值2，值3。在cte_2中，我找到了t2的唯一行号。在cte_3中，我使用两个键（例如Date和Ad）上的join来获取所有不同的维度和指标。在cte_4中，我仅获取行号1的值。我得到sum（value1），sum（value2），sum（value3）正确，但sum（value4）不正确

WITH cte_1 AS
(SELECT *except(value1,value2,value3) FROM t1 where Date >"2020-02-16" and Publisher ="fb")
-- Find unique row number from t2--,cte_2 as(
SELECT  ROW_NUMBER() OVER(ORDER BY Date) distinct_row_number,* FROM t2,cte_3 as
(SELECT cte_2.*,cte_1.*except(Date) FROM cte_2 join cte_1  
on cte_2.Date = cte_1. Date 
and cte_2.Ad= cte_1.Ad)),cte_4 AS (
(SELECT *
FROM
(
SELECT *,row_number() OVER (PARTITION BY distinct_row_number ORDER BY Date) as rn 
FROM cte_3 ) T
where rn = 1 ))

select  sum(value1),sum(value2),sum(value3),sum(value4) from cte_4

请参阅以下示例表：

解决方法

虽然您的数据似乎与您共享的查询不兼容，但由于它缺少名为 Ad 的字段，而其他字段具有不同的名称，例如 日期 和 ReportDate ，我能够确定一些问题并提出改进建议。

首先 ，在临时表 cte_1 中，您仅在WHERE子句中使用过滤器，可以使用在最后一步的from语句中，例如：

SELECT * FROM (SELECT field1,field2,field3 FROM t1 WHERE Date > DATE(2020,02,16) )

第二 ，在 cte_2 中，您需要从表中选择所有需要的列 t2 。否则，您的表将仅具有 行号 ，并且一旦不提供任何其他信息，就无法将其与其他表连接。因此，如果需要行号，则将其与其他列一起选择，如果将来要执行任何联接，则必须包括主键。语法如下：

SELECT field1,ROW_NUMBER() OVER(ORDER BY Date) FROM t2 

第三 ，在 cte_3 中，我假设您要执行INNER JOIN。因此，您需要确保在两个表中都存在主键，在您的情况下为 Date 和 Ad ，而在我的数据中找不到。此外，连接两个表并选择所有列时，名称不能重复。例如，如果您在两个表中都有 品牌，值1，值2和值3 ，则会导致错误。因此，您需要通过一一选择或使用EXCEPT子句来指定这些字段的来源。

最后 ，位于 cte_4 中，而您的 最终选择 可以一步到位。基本上，您只选择一行数据按日期排序。然后根据日期划分分别对字段值1，值2和值3求和。此外，您没有为总和选择任何标识符，这意味着您的表将仅具有最终总和。通常，在执行诸如SUM()之类的聚合时，也会选择主键。最后，可以仅使用t2中的数据按以下步骤执行此步骤：

SELECT ReportDate,Brand,sum(value1) as sum_1,sum(value2)  as sum_1,sum(value3)  as sum_1,sum(value4)  as sum_1 FROM (SELECT t2.*,ROW_NUMBER() OVER(PARTITION BY Date ORDER BY Date) as rn t2)
WHERE rn=1
GROUP BY ReportDate,Brand

更新： 在注释部分中有您的解释。我能够创建一个更具体的查询。字段 ReportDate，Brand，Portfolio，Campaign和value1，value2，value3 来自 t2 。而 value4 来自 t1 。基于等于1的行号进行总和。因此，在使用 ROW_NUMBER（）之前将表 t1 和 t2 连接在一起 。最后，在最后一个Select语句中，未选择 rn ，并且数据基于 ReportDate，Brand，Portfolio和t2.Campaign 进行汇总。

WITH cte_1 AS (
SELECT t2.ReportDate,t2.Brand,t2.Portfolio,t2.Campaign,t2.value1,t2.value2,t2.value3,t1.value4 
FROM t2 LEFT JOIN t1 on t2.ReportDate = t1.ReportDate and t1.placement=t2.Ad
),cte_2 AS(
SELECT *,ROW_NUMBER() OVER(PARTITION BY Date ORDER BY ReportDate) as rn FROM cte_1
)
SELECT ReportDate,Portfolio,Campaign,SUM(value1) as sum1,SUM(value2) as sum2,SUM(value3) as sum3,SUM(value4) as sum4
FROM cte_2
WHERE rn=1
GROUP BY 1,2,3,4