如何解决AWS采取并行状态来协调EMR作业
我们正在使用AWS步骤来编排数据管道,并且确实需要并行运行EMR作业。 我尝试使用地图状态,它按预期工作。 Map的唯一问题是,如果一个步骤失败了,它也会取消所有其他步骤。为了解决这个问题,我在考虑是否可以创建一系列步骤并将其动态传递到并行状态的分支,但是我无法做到这一点不接受字符串。 有没有解决方法,还是我们只能在并行状态下硬编码分支?在这种情况下,States.Array()在某种程度上可以有所帮助吗?
解决方法
将内部状态机包装为一分支并行状态,并向其中添加错误/重试策略。基本上,您希望捕获所有错误并确保迭代始终成功。
,仅适用于试图为上述问题寻求解决方案的人。根据Pooya的建议,我确实在Map内的任务内部使用了catch块,而不是将其保持在map级别。状态机看起来像this
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。