如何解决AWS EMR取消步骤无法终止相应的Spark应用程序
我正在为长时间运行的AWS EMR上的Spark Jobs设计CI / CD。将火花作业添加为EMR群集中的一个步骤。我正在考虑对CI / CD使用取消步骤和添加步骤。因此,我在CI / CD管道中集成了一个Linux Shell脚本,这是取消和添加步骤。该步骤可以取消。但是,相应的spark应用程序仍在运行。正常吗停止CI / CD的正在运行的spark应用程序的正确方法是什么?谢谢!
解决方法
该步骤运行时,您无法通过AWS API取消,但是可以使用EMR的yarn命令(例如,
)来取消yarn application -kill application_id
可以从以下命令获取ID的地方。
yarn application -list
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。