如何解决无法在受限的dataproc设置中安装JUPYTER
我正在尝试使用Jupter可选组件来设置dataproc集群。
gcloud beta dataproc clusters create cluster-1ea3 --enable-component-gateway \
--region europe-west1 --subnet data-network --no-address --zone europe-west1-b \
--single-node --master-machine-type n1-standard-4 --master-boot-disk-size 500 \
--image-version 1.5-debian10 --optional-components ANACONDA,JUPYTER \
--scopes 'https://www.googleapis.com/auth/cloud-platform' --project clouddemoenvironment
“-no-address”确保私有IP,并且通过Google私有访问启用了网络“数据网络”。如果我没有安装Jupyter可选组件,但是群集无法针对可选组件出现以下错误,那么事情就很好了。
<13>Nov 5 09:01:44 google-dataproc-startup[1466]: <13>Nov 5 09:01:44 activate-component-jupyter[2710]: Looking in links: /opt/dataproc/jupyter/gcp
<13>Nov 5 09:01:44 google-dataproc-startup[1466]: <13>Nov 5 09:01:44 activate-component-jupyter[2710]: Collecting https://github.com/GoogleCloudPlatform/jupyter-extensions/archive/2cb9d24fe01cd329a8c4352a07b0eb8f9771fb07.zip#subdirectory=jupyter-gcs-contents-manager (from -r /opt/dataproc/jupyter/jupyter_extra_packages.requirements (line 1))
<13>Nov 5 09:01:59 google-dataproc-startup[1466]: <13>Nov 5 09:01:59 activate-component-jupyter[2710]: WARNING: Retrying (Retry(total=4,connect=None,read=None,redirect=None,status=None)) after connection broken by 'ConnectTimeoutError(<pip._vendor.urllib3.connection.VerifiedHTTPSConnection object at 0x7f6b1afbac10>,'Connection to github.com timed out. (connect timeout=15)')': /GoogleCloudPlatform/jupyter-extensions/archive/2cb9d24fe01cd329a8c4352a07b0eb8f9771fb07.zip
我了解该集群无法访问github,因此失败很有意义。在检查文档时引用
如果您仅创建具有内部IP地址的Dataproc集群,则除非您配置了通过Cloud NAT或Cloud VPN引导流量的路由,否则尝试通过Internet以初始化操作访问github.com将失败。无需访问Internet,就可以启用Google私有访问,并将作业依赖项放置在Cloud Storage中;群集节点可以从内部IP从Cloud Storage下载依赖项。
我不想使用Cloud NAT或Cloud VPN。我有什么可以传达给系统以不同方式解决依赖关系的东西。不幸的是,初始化脚本的概念可能也不会起作用,因为执行顺序在可选组件之后。
关于如何在非互联网环境中利用可选组件的任何建议。
关于, 吉尔
解决方法
此启动时间依赖性是最新Dataproc映像中的错误。
应该在下一个Dataproc次要映像版本中修复。
要暂时解决此问题,您可以使用以前的次映像版本。 (--image-version=1.5.18-debian10
)
更新:此问题已在Nov 9 2020 release中得到解决,因此您只能使用最新版本。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。