如何解决带有pyspark 3.0和Python 3.7.8的Virtualenv
我正在尝试使用带有Spark 3.0和Python 3.7.8的虚拟环境提交pyspark作业。
这有效:
pyspark \
> --conf spark.pyspark.virtualenv.enabled=true \
> --conf spark.pyspark.virtualenv.type=native \
> --conf spark.pyspark.virtualenv.bin.path=/usr/bin/virtualenv
20/10/09 16:38:06信息VirtualEnvFactory:开始设置virtualenv ... 2009年10月20日16:38:06 INFO VirtualEnvFactory:运行命令:/ usr / bin / virtualenv -p / usr / bin / python3 --system-site-packages / tmp / 1602261486643-0 2009年10月20日16:38:08信息VirtualEnvFactory:在/ tmp / 1602261486643-0 / bin / python
中创建了virtualenv但是当我提交带有火花提交的工作
具有以下选项:
conf = SparkConf().setAll(
[
("spark.pyspark.virtualenv.enabled","true"),("spark.pyspark.virtualenv.type","native"),("spark.pyspark.virtualenv.bin.path","/usr/bin/virtualenv")
]
)
sc = SparkContext(conf=conf)
该作业不使用virtualenv,当我尝试安装python软件包时,它尝试安装在以下位置: 权限被拒绝:'/usr/local/lib64/python3.7/site-packages/scipy-1.5.2.dist-info'
而不是像pyspark这样的tmp目录。
在Spark 2.4中,同样的工作效果很好。
有什么想法,为什么virtualenv可与pyspark一起使用,而不能在Spark 3.0中进行spark-submit?
感谢您的帮助,
干杯
伯特兰
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。