如何解决在Amazon EMR中安装autogluon
我希望能够在由EMR群集支持的笔记本中同时使用Pyspark库和AutoGluon库。我尝试使用以下EMR群集(emr-5.30.1)的引导脚本安装AutoGluon
sudo python3 -m pip install autogluon
,但失败
Running setup.py install for ConfigSpace: finished with status 'error'
Complete output from command /bin/python3 -u -c "import setuptools,tokenize;__file__='/mnt/tmp/pip-build-1yey/ConfigSpace/setup.py';f=getattr(tokenize,'open',open)(__file__);code=f.read().replace('\r\n','\n');f.close();exec(compile(code,__file__,'exec'))" install --record /tmp/pip-n_888-record/install-record.txt --single-version-externally-managed --compile:
...
...
ConfigSpace/hyperparameters.c:4:10: fatal error: Python.h: No such file or directory
#include "Python.h"
^~~~~~~~~~
compilation terminated.
error: command 'gcc' failed with exit status 1
还使用引导脚本安装的mxnet版本为1.6.0。(无法升级到更高版本-No matching distribution found for mxnet==1.7.0
)
我可以通过EMR集群使用autogluon吗?
解决方法
您可以尝试将其安装在笔记本电脑上或正在运行的群集上。您可以在Spark上下文中使用install_pypi_package
。
例如
sc.install_pypi_package("autogluon")
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。