如何解决从docker容器在dataproc中运行pyspark dataframe
1-我用docker作为初始化动作创建了一个dataproc集群
gs://dataproc-initialization-actions/docker/docker.sh
根据:https://github.com/GoogleCloudDataproc/initialization-actions/tree/master/docker docker应该在主节点和工作节点中配置
2-我在主服务器中安装了SSH,安装了docker-compose并在其中克隆了我的应用程序。我的应用是一台烧瓶(python)服务器,它会根据API请求,处理一些数据并发回响应。
由于我的逻辑位于docker容器中,因此我想从容器内部调用dataproc master。 我已经在容器中安装了pyspark,但是不确定如何从docker容器中运行pyspark代码,这些代码可以由主机上的dataproc master + worker执行?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。