如何解决Spark sql已解决的异常:运算符!Project中缺少属性
我正在将一些ETL sql从mysql迁移到Spark sql。遇到非常奇怪的异常。我希望有人能帮助我。 测试表:
create table spark_hdw.test_bug(
a decimal(20,2),b decimal(20,c decimal(21,2)
)
Spark sql:
%spark.sql
SELECT
*
FROM
(
SELECT a AS kpi_04
FROM
spark_hdw.test_bug
UNION ALL
SELECT
a+b AS kpi_04
FROM
spark_hdw.test_bug
) t
例外:
Resolved attribute(s) kpi_04#17864 missing from kpi_04#17872 in operator !Project [kpi_04#17864]. Attribute(s) with the same name appear in the operation: kpi_04. Please check if the right attribute(s) are used.;;
!Project [kpi_04#17864]
+- SubqueryAlias t
+- Union
:- Project [cast(kpi_04#17864 as decimal(21,2)) AS kpi_04#17872]
: +- Project [a#17866 AS kpi_04#17864]
: +- SubqueryAlias test_bug
: +- HiveTableRelation `spark_hdw`.`test_bug`,org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe,[a#17866,b#17867,c#17868]
+- Project [kpi_04#17865]
+- Project [CheckOverflow((promote_precision(cast(a#17869 as decimal(21,2))) + promote_precision(cast(b#17870 as decimal(21,2)))),DecimalType(21,2)) AS kpi_04#17865]
+- SubqueryAlias test_bug
+- HiveTableRelation `spark_hdw`.`test_bug`,[a#17869,b#17870,c#17871]
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。