如何解决蜂巢:如何处理scd类型2而无需更新
当前,在本地Hadoop环境中,我们正在使用具有事务属性的配置单元表。但是,随着我们转向AWS,我们还没有该功能。因此想了解如何在不进行更新的情况下处理SCD Type 2。
例如。 用于以下记录。
具有更新
在启用了事务属性的表中,当我获得记录更新时,我继续将end_date
更改为current date
,并以effective_date
作为{{1 }}和current date
设为end_date
,如上表所示。因此,更容易找到我的12/31/9999
(其中end_date =“ 12/31/9999”)。
但是,如果我无法更新过去的记录。我有两条记录相同的active record
。如下表所示。
我的问题是。
如果我可以更新过去记录的end_date
,
- 如何获得历史停留时间?
- 我如何获得活动记录?
没有更新
解决方法
首先,将所有日期转换为'yyyy-MM-dd'
格式,以便它们都可以排序并且分析功能可以使用。然后,您可以使用lead(effective_date,'2019-01-01') over(partition by id order by effective_date)
。对于id = 1和有效日期= 2019-01-01,它应该给您'2020-08-15',您可以将此值分配为'2019-01-01'记录的结束日期。如果没有有效日期较大的记录,则将分配“ 9999-01-01”。转换之后,活动记录就是具有“ 9999-01-01”的记录。
假设日期已经转换为yyyy-MM-dd,这是重写表的方式(插入后):
insert overwrite table your_table
select name,id,location,effective_date,lead(effective_date,'2019-01-01') over(partition by id order by effective_date) as end_date
from your_table
或者不先进行插入,就可以在子查询中将所有现有记录与新记录合并,然后计算潜在客户。
实际上,由于蜂巢中的非等价联接实现,因此不建议将SCD2用于历史数据重写。它实现为交叉联接+过滤器(或在dim.id = fact.id上复制联接(这将复制行)+事实(Fact.date = dim.effective_date-该应过滤一条记录)。如果由于过滤前的重复而导致维度和事实很大,则此连接非常昂贵。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。