如何解决Spark属性“缺失”执行器核心,内存,数字等
我试图直接从Spark-shell或以编程方式访问spark属性。
我不想依赖Spark Web UI。
而且,通过命令行设置执行程序的执行者数量似乎不会对Web UI产生任何影响(该变量不会出现在“环境”选项卡上)
也不能在我的Spark上下文的SparkConf中显示它(请参见下面的屏幕截图)
我必须承认,对于设置/配置属性,我仍然感到不满意,仍然不得不“猜测”并盲目进行。我不是在寻找快速修复程序,我的目标是真正了解spark属性的设置方式以及如何在运行时访问它们。
我仍然不知道它们被spark拾取的方式(许多可能的入口点,导出变量,命令行,.conf文件,spark-env.sh,默认值...)以及以下事实:未显示未显式设置(未显示)(根据我的经验)令人费解...(如下面的“ toDebugString”命令之后所看到的,大量的默认属性丢失了)
欢迎澄清
设置一些属性然后访问它会丢弃一个异常 (尝试了许多属性)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。