如何解决为什么在尝试访问 spark master webUI 时会重置连接?
我正在尝试在 CentOS8 上安装 spark 独立集群,并在我启动它后尝试访问 master 的 webUI 时不断重置连接。我错过了什么吗?请帮忙。
我有:
- 安装的Java:
openjdk version "1.8.0_302" OpenJDK Runtime Environment (build 1.8.0_302-b08) OpenJDK 64-Bit Server VM (build 25.302-b08,mixed mode)
-
安装的Scala:
Scala 代码运行器版本 2.10.6 -- 版权所有 2002-2013,LAMP/EPFL
/usr/lib/scala -> /usr/lib/scala3-3.0.1/
- 安装火花:
scala -> /usr/lib/scala3-3.0.1/
- 在 .bash_profile 中使用环境变量配置 bash 配置文件:
export PATH=$PATH/user/lib/scala/bin export SPARK_HOME=/opt/spark export PATH=$PATH:$SPARK_HOME/bin
- 在防火墙中打开了一些端口:
ports: 6066/tcp 7077/tcp 8080-8081/tcp
- 将配置添加到 spark-env.sh
SPARK_LOCAL_IP='localhost' SPARK_MASTER_IP='spark-master' SPARK_MASTER_PORT='7077'
-
使用 start-master.sh 启动 master
-
使用 firefox 访问 http://localhost:7077 - 但不断重置连接
解决方法
Spark 主 Web UI 端口默认为 8080。检查 http://localhost:8080。您可以使用 SPARK_MASTER_WEBUI_PORT 环境变量更改它。 For your reference。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。