如何解决AWS Glue调用o128.resolveChoice
我有一个AWS Glue作业,该作业当前每晚运行,并扫描约20 TB的原始JSON数据并将其转换为镶木地板。我只有创建作业时生成的通用Python脚本。我遇到了导致作业失败并导致以下错误的问题。
py4j.protocol.Py4JError:调用o131.resolveChoice时发生错误
此作业之前已成功运行,没有任何问题。我进行了更改并添加了分区键,但更改后现在似乎失败了。这项工作需要将近24小时才能运行,因此提出解决方案的过程很缓慢。我无法找到与此错误相匹配的任何错误,因此我很想知道这里发生了什么。有人有什么想法吗?
这是Cloudwatch的追溯
Traceback (most recent call last):
File "script_2020-09-14-02-00-49.py",line 17,in <module>
resolvechoice = ResolveChoice.apply(frame = applymapping,choice = "make_struct",transformation_ctx = "resolvechoice")
File "/mnt/yarn/usercache/root/appcache/application_1600045621100_0001/container_1600045621100_0001_02_000001/PyGlue.zip/awsglue/transforms/transform.py",line 24,in apply
File "/mnt/yarn/usercache/root/appcache/application_1600045621100_0001/container_1600045621100_0001_02_000001/PyGlue.zip/awsglue/transforms/resolve_choice.py",in __call__
File "/mnt/yarn/usercache/root/appcache/application_1600045621100_0001/container_1600045621100_0001_02_000001/PyGlue.zip/awsglue/dynamicframe.py",line 420,in resolveChoice
File "/mnt/yarn/usercache/root/appcache/application_1600045621100_0001/container_1600045621100_0001_02_000001/py4j-0.10.4-src.zip/py4j/java_gateway.py",line 1133,in __call__
File "/mnt/yarn/usercache/root/appcache/application_1600045621100_0001/container_1600045621100_0001_02_000001/pyspark.zip/pyspark/sql/utils.py",line 63,in deco
File "/mnt/yarn/usercache/root/appcache/application_1600045621100_0001/container_1600045621100_0001_02_000001/py4j-0.10.4-src.zip/py4j/protocol.py",line 327,in get_return_value
py4j.protocol.Py4JError: An error occurred while calling o128.resolveChoice
ERROR:py4j.java_gateway:An error occurred while trying to connect to the Java server (127.0.0.1:41623)
这条线上似乎失败了。
resolvechoice = ResolveChoice.apply(frame = applymapping,transformation_ctx = "resolvechoice")
此脚本当前在我的生产前AWS环境中有效,但在我的生产环境中无效。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。