如何解决将JDBC驱动程序添加到AWS Glue中以获取现有Spark代码
我正在尝试在AWS Glue上运行现有的Spark(Scala)代码。
此代码使用spark.read.option("jdbc")
,并且我一直使用spark.driver.extraClassPath
选项将JDBC驱动程序添加到Spark类路径。
假设我可以先使用引导操作将驱动程序从S3复制到实例,这在本地和EMR上都可以正常工作。
但是胶水相当于什么?如果将驱动程序添加到“依赖的JAR”选项中,它将无法正常工作,并且会出现“没有合适的驱动程序”错误,这可能是因为JAR必须对Spark自己的类加载器可见。
解决方法
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。