如何解决如何解决AWS托管的Apache Zeppelin中缺少的Glue模块?
如果您使用EC2托管的Zeppelin笔记本,在我看来,这意味着根据该教程,可以使用AWS Glue库:https://docs.aws.amazon.com/glue/latest/dg/dev-endpoint-tutorial-EC2-notebook.html
这个假设不正确吗?我已经对此进行了研究,似乎其他为此感到苦恼的人都有IAM权限问题。
我已经为Development端点赋予了这些角色(有些角色不是必需的,但我很拼命...):
- AWSGlueConsoleSageMakerNotebookFullAccess
- AWSGlueServiceNotebookRole
- AmazonS3FullAccess
- AWSGlueConsoleFullAccess
- AWSGlueServiceRole
EC2实例具有以下权限:
- AWSGlueConsoleSageMakerNotebookFullAccess
- AWSCloudFormationFullAccess
- CloudWatchLogsFullAccess
- AmazonAthenaFullAccess
- AWSGlueServiceNotebookRole
- AmazonS3FullAccess
- AWSGlueConsoleFullAccess
- AWSGlueServiceRole
Traceback (most recent call last):
File "/tmp/zeppelin_pyspark-4247400967984532782.py",line 349,in <module>
raise Exception(traceback.format_exc())
Exception: Traceback (most recent call last):
File "/tmp/zeppelin_pyspark-4247400967984532782.py",line 337,in <module>
exec(code)
File "<stdin>",line 3,in <module>
ImportError: No module named awsglue.context
解决方法
对我来说,答案是允许Zeppelin和Glue之间进行网络通信。您必须明确配置此网络规则。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。