如何解决专注于TEZ查询，在Reducer跨产品上永远占有一席之地
我有2张桌子：
db1.main_table (32 GB)
db2.lookup_table (2.5 KB)
查找表只有一列名为id的列，该列也存在并且是main_表的主键。目的是仅查看查询表中的值，并从main_table中删除存在这些值的所有行。 我正在使用此配置单元查询（在TEZ上）突然开始在Reduce中创建叉积 阶段。
insert overwrite table
db1.main_table
select * from db1.main_table where nvl(id,'NV') not in (select nvl(id,'RV') from db2.lookup_table);
我之所以使用nvl，是因为我不想删除id列在主表中的空值。
我的查询永远挂在Reducer 2（仅3个容器）上。
我收到有关Reducer 2的警告
INFO：警告：Shuffle Join MERGEJOIN [34] [tables = [$ hdt $ _0， $ hdt $ _1]]在“ Reducer 2”阶段是一个交叉产品
对于这个查询，我得到了以下计划，该计划被挂在TEZ的Reducer 2顶点上。
我们能否建议使用一种方法来使Reducer 2获得更多的容器，或者解决该长期运行的工作。解决方案将不胜感激。
解决方法
-
如果查找表可以包含许多带有NULL的记录，这意味着至少“ RV”记录在查询中不是唯一的，最好使用DISTINCT来减小联接前的查找大小。但是您说的是“ ..id，它也存在并且是main_ table的主键...”主键是唯一的，并且不是NULL。如果PK约束确实由进程加载查找表强制实施，则不需要DISTINCT和NVL。与主表相同。 PK =唯一+不为空。
-
如果主表具有许多NULL，并且它们在与之连接之前都将被转换为'NV'，则此值可能会在JOIN reducer上产生偏斜。如果应传递“ NV”，则可以将其从联接中完全排除。
-
这是最重要的一个。如果查找表足够小以适合内存，请使用Map-Join。阅读有关mapjoin的问题：Hive Map-Join configuration mystery 而且它很小：（2.5 KB）-映射联接应该可以正常工作。
unique,counts = np.unique(x,return_counts=True)
d = {'unique':unique,'counts':count} # pass the list to a dictionary
df = pd.DataFrame(d) #dictionary object can be easily passed to make a dataframe
df.sort_values(by = 'count',ascending=False,inplace = True)
df = df.reset_index(drop=True) #optional only if you want to use it further
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。