如何解决在EMR上更改Spark应用程序的log4j配置后如何查看调试日志?
我已按照通常的步骤将日志级别更改为DEBUG,但是在AWS EMR中运行的spark应用程序日志中没有看到DEBUG级别日志。我做了以下事情:
-
在
log4j.rootCategory=DEBUG,console
中更改conf/log4j.properties
文件中的spark-submit
。 -
我还在
spark-submit
(Answer 3 in this thread)期间使用这些其他配置-conf'spark.executor.extraJavaOptions = -Dlog4j.configuration = path / to / log4j.properties'
--conf'spark.driver.extraJavaOptions = -Dlog4j.configuration = path / to / log4j.properties'\
在YARN应用程序页面上启用调试日志/在配置为写入S3的stderr
文件中查看调试日志,我遗漏了什么?
[另外,我尝试了sc.setLogLevel("DEBUG")
,这成功启用了DEBUG日志,但我不想进行这样的代码更改。]
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。