如何解决如何更改 zeppelin 上使用的 Pyspark 版本
我想在 AWS EMR 环境中的 zeppelin 上使用 pyspark ver 3.0.0。
当我用spark 2.4.2设置创建EMR实例时,从一开始环境中安装的pyspark版本也是2.4.2,但是我也想用这个设置使用pyspark ver 3.0.0 .
但是,即使我执行命令“sudo python3 -m pip install pyspark == 3.0.0”来安装pyspark ver 3.0.0,“/usr/lib/spark/python”下的pyspark ver 2.4.2也是优先在zeppelin python3解释器上导入,pyspark ver 3.0.0无法导入。
环境中有两个版本的pyspark,但是在这种情况下,需要做哪些设置才能优先导入pyspark ver 3.0.0?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。