如何解决无法导入带有py文件的压缩库
我必须维护与pyspark一起运行的oll代码。 它使用的是我从未见过的方法。 我将一些可重用的代码压缩到了一个ingestion.zip文件中。 然后,使用如下这样的pipeline.cfg文件调用该文件:
[spark]
master=spark://master
py-files=${HOME}/lib/ingestion.zip
spark-submit=${SPARK_HOME}/bin/spark-submit
当我尝试如下所示导入库时,我无法让Pycharm理解lib应该指向zip文件。
from ingestion.data import csv,storage
我已经看到zip是spark-submit使用py-files提出的解决方案,但是如何使它在我的IDE上运行?
解决方法
我还没有在pycharm中使用以下方法,但是它通过spark-submit对我们有用,我们可以使用常规的import语句来导入这些模块。 实际上,我们要导入的文件很少,我们需要快速进行一些操作。因此,如果您也有相同的用例,并且如果pycharm允许的话,也许可以尝试一下。
--py-files s3://bucket-name/module1.py,s3://bucket-name/module2.py,s3://bucket-name/module3.py,s3://bucket-name/module4.py"
(请注意-不应有空格。)
(注意-此建议只是一个临时解决方案,直到有人答复更好的答案为止。)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。