如何解决EMR集群中的“ Spark on Yarn核心数”
我有一个用于Spark的Emr集群,具有以下2个实例的配置。
r4.2xlarge
8 vCore
因此,我的总vCores为 16 ,而在纱线Vcores中也是如此
我已经提交了一个带有参数--num-executors 2 --executor-cores 5的spark流作业。因此,我假设它将为执行者用完 2 * 5总共10个vcore ,但是仅使用群集中的总共2个内核(驱动程序为+1)
在瞬间,该作业仍在以10(2 * 5)个并行任务运行。似乎每个执行程序内核中仅运行5个线程。
我在不同的问题和文档中都读过-executor-cores使用实际的vCore,但是在这里,它仅将任务作为线程运行。 我的理解在这里正确吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。