如何解决Spark JDBC 写入 Teradata:由于死锁错误导致 Stage 失败,多个 Spark 任务因事务 ABORTed 而失败
我正在使用 spark JDBC write 将数据从 hive 加载到 teradata 视图。我使用了 200 个 vcore 并将数据划分为 10000 个分区。
Spark 任务因以下错误而失败,导致阶段失败。有时应用程序成功完成但有一些重复的记录
由:java.sql.SQLException: [Teradata Database] [TeraJDBC 16.20.00.10] [Error 2631] [SQLState 40001] 事务因死锁而中止。
以下是我使用的代码:
val df = spark.sql("select * from hive table").distinct.repartition(10000).write.mode(overwrite) .option("truncate",Truncate).jdbc(url,dbTable,dproperties)
Teradata 视图是使用“AS LOCKING ROW FOR ACCESS”创建的。该表还有一个唯一的 PI。
我无法弄清楚为什么某些 spark 任务会因死锁错误而失败,是否有办法阻止我的整个 spark 应用程序因任务失败而失败。
解决方法
尝试插入同一个表的数十个会话可能会导致死锁。即使视图定义了访问锁,也必须获得写锁才能将行插入到后备表中。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。