如何解决Spark 3.0.0 的 R 版本支持
我正在使用 Spark-3.0.0 在 EMR-6.1 集群上运行 Spark 任务。 Spark 任务 (LivySensor) 引用了档案中的 conda 包。
curl -H "Content-Type: application/json" -X POST -d '{"executorMemory": "4G","driverMemory": "4G","name": "Test App","numExecutors": 30,"executorCores": 1,"file":
"s3://bucket/file_spark.py","queue": "default","archives": ["s3://bucket/conda_package-
py36.env.tar.gz#conda_env"],"jars":
["s3://xdeps.ci.climatedna.net/java/maven/com/databricks/spark-avro_2.11/4.0.0/spark-
avro_2.11-4.0.0.jar"],"conf": {"spark.driver.userClassPathFirst": false,"spark.executor.userClassPathFirst": false,"spark.speculation": false,"spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version": 2,"spark.yarn.appMasterEnv.PYSPARK_PYTHON": "./conda_env/bin/python3","spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON": "./conda_env/bin/python3","spark.driver.maxResultSize": "3072m","spark.executorEnv.R_LIBS_USER":
"conda_env/lib/R/library","livy.spark.jars":
"s3://xdeps.ci.climatedna.net/java/maven/com/databricks/spark-avro_2.11/4.0.0/spark-avro_2.11-4.0.0.jar"}}' http://livy/batches
conda 包有以下meta.yaml
- python
- pandas
- numpy
- matplotlib
- seaborn
- s3fs
- pyspark
- pyyaml
- cytoolz
- r-base
- rpy2
- r-lme4
- r-optimx
- r-arm
- pyarrow
- scikit-learn
conda 包本质上是一个使用 lme4 计算统计数据的模型。此代码在 EMR-5.16/Spark-2.3.1 中运行良好。但是,在 EMR-6.1/Spark-3.0.0 中失败并出现以下错误 - cannot read workspace version 3 written by R 3.6.3; need R 3.5.0 or newer enter code here
现在的失败是:File "/mnt/yarn/usercache/livy/appcache/application_1609962495532_0006/container_1609962495532_0006_03_000024/conda_env/lib/python3.6/site-packages/rpy2/robjects/packages.py",line 470,in importr
相关代码:
from rpy2.robjects.packages import importr
r_library_path = os.environ.get("R_LIBS_USER")
abspath = os.path.abspath(r_library_path)
# import lme4 from rpy2 package installs
importr(package_name,lib_loc=abspath)
我看到了一个相关问题 here,它在 SPARK-3.0.1 中被标记为已修复,但是,我在使用 Spark-3.0.1 时遇到了同样的错误。
用于包的 Python 版本:3.6 包中使用的R版本:3.6.3 Spark 版本:Spark 3.0.0/Spark 3.0.1 EMR 集群 R:3.6.3
如果 R 版本是 3.6.3(在 conda 包中),我很困惑,为什么错误消息说需要的版本 > 3.5。
希望有任何想法!
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。