(集群)搭建Hadoop+Hbase+hive+Spark(详解版)
本教程是已经搭建好Hadoop集群
Hadoop+Hbase集群:
https://blog.csdn.net/qq_46138492/article/details/128590916
Hadoop+Hbase+Hive集群:
https://blog.csdn.net/qq_46138492/article/details/128590966
0.官网下载
[Downloads | Apache Spark](https://spark.apache.org/downloads.html)
[历史版本 spark (apache.org)](https://archive.apache.org/dist/spark/)
1.上传文件包
- 工具上传
- 命令上传:
scp -r spark-2.4.5-bin-hadoop2.7.tgz user@192.168.10.130:/home/user
2.解压,建目录,移动,改名,赋权
解压:tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz
建目录: sudo mkdir /usr/local/spar
移动: sudo mv spark-2.4.5-bin-hadoop2.7 /usr/local/spark/
改名:
cd /usr/local/spark
sudo mv spark-2.4.5-bin-hadoop2.7 spark-2.4.5\
赋权:sudo chown -R user:user spark-2.4.5/
3.配置
3.1 环境变量
sudo vim /etc/profile
export SPARK_HOME=/usr/local/spark/spark-2.4.5
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
source /etc/profile
3.2 修改配置文件
cd /usr/local/spark/spark-2.4.5/conf
# 拷贝模板文件
cp spark-defaults.conf.template spark-defaults.conf
cp spark-env.sh.template spark-env.sh
cp slaves.template slaves
修改 spark-defaults.conf
vim spark-defaults.conf
spark.master spark://Master:7077
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.driver.memory 1g
spark.executor.memory 1g
修改spark-env.sh
vim spark-env.sh
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_351
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.3
export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-3.1.3/etc/hadoop
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/hadoop-3.1.3/bin/hadoop classpath)
export SPARK_MASTER_HOST=Master
export SPARK_MASTER_PORT=7077
修改slaves文件
vim slaves
Master
slave1
slave2
4.分发到其他节点
cd /usr/local
tar -zcf ~/spark.master.tar.gz ./spark
复制:
scp -r spark.master.tar.gz user@slave1:/home/user
scp -r spark.master.tar.gz user@slave2:/home/user
slave1 slave2节点上:
sudo rm -r /usr/local/spark #如果有删除旧的
sudo tar -zxvf ~/spark.master.tar.gz -C /usr/local
sudo chown -R user:user /usr/local/spark 添加权限
5.启动Spark集群
配置了环境变量,可以在任意目录执行启动命令
/usr/local/spark/spark-2.4.5/sbin/start-all.sh
5.1在web界面查看Spark UI
在Linux
系统上浏览器上查看Spark UI
:http://192.168.10.130:8080/
8、测试
运行SparkPI
进行案例测试:
spark-submit --class org.apache.spark.examples.SparkPi \
$SPARK_HOME/examples/jars/spark-examples_2.11-2.4.5.jar 10
Yarn模式
上面默认是用standalone模式启动的服务,如果想要把资源调度交给yarn来做,则需要配置为yarn模式:
需要启动的服务:hdfs服务、yarn服务
需要关闭 Standalone 对应的服务(即集群中的Master、Worker进程)。
在Yarn模式中,Spark应用程序有两种运行模式:
yarn-client:Driver程序运行在客户端,适用于交互、调试,希望立即看到app的输出
yarn-cluster:Driver程序运行在由RM启动的 AppMaster中,适用于生产环境
二者的主要区别:Driver在哪里!
1、开启 hdfs、yarn服务
start-dfs.sh
start-yarn.sh
2、修改Hadoop中的 yarn-site.xml 配置
在/usr/local/hadoop/hadoop-3.1.3/etc/hadoop/yarn-site.xml
中增加如下配置,然后分发到集群其他节点,重启yarn
服务。
vim /usr/local/hadoop/hadoop-3.1.3/etc/hadoop/yarn-site.xml
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
说明:
yarn.nodemanager.pmem-check-enabled : 是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是true。
yarn.nodemanager.vmem-check-enabled :是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是true。
3、修改Spark配置,分发到集群
spark-env.sh 中这一项必须要有
cd /usr/local/spark/spark-2.4.5/conf
添加如下内容
export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-3.1.3/etc/hadoop
spark-defaults.conf(以下是优化)
vim spark-defaults.conf
添加如下内容
spark.yarn.jars hdfs://Master:8020/spark-jars/*.jar
4、向hdfs上传spark纯净版jar包
下载spark-2.4.5-bin-without-hadoop.tgz
下载地址:https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-without-hadoop.tgz
上传并解压tar -zxvf spark-2.4.5-bin-without-hadoop.gz
tar -zxvf spark-2.4.5-bin-without-hadoop.gz
上传spark纯净版jar包到hdfs
hdfs dfs -mkdir /spark-jars
hdfs dfs -put spark-2.4.5-bin-without-hadoop/jars/* /spark-jars
说明:
1)Spark任务资源分配由Yarn来调度,该任务有可能被分配到集群的任何一个节点。所以需要将spark的依赖上传到hdfs集群路径,这样集群中任何一个节点都能获取到,依此达到Spark集群的HA。
2) Spark纯净版jar包,不包含hadoop和hive相关依赖,避免和后续安装的Hive出现兼容性问题。
5、测试
记得,先把Master与worker进程停掉,否则会走standalone模式。停掉standalone模式的服务
最好在配置完hadoop和spark之后全部停掉,再重启
stop-all.sh
client运行模式
#client
spark-submit --master yarn \
--deploy-mode client \
--class org.apache.spark.examples.SparkPi \
$SPARK_HOME/examples/jars/spark-examples_2.11-2.4.5.jar 20
这种模式可以看见:程序计算的结果(即可以看见计算返回的结果)!
cluster运行模式
#cluster
spark-submit --master yarn \
--deploy-mode cluster \
--class org.apache.spark.examples.SparkPi \
$SPARK_HOME/examples/jars/spark-examples_2.11-2.4.5.jar 20
这种模式就看不见最终的结果!
启动Hadoop
/usr/local/hadoop/hadoop-3.1.3/sbin/start-all.sh
启动spark
/usr/local/spark/spark-2.4.5/sbin/start-all.sh
Spark UI:http://192.168.10.130:8080/
NameNode 和 Datanode UI: http://192.168.10.130:9870
YARM UI: http://192.168.10.130:8088/cluster
关闭spark
/usr/local/spark/spark-2.4.5/sbin/stop-all.sh
关闭Hadoop
/usr/local/hadoop/hadoop-3.1.3/sbin/stop-all.sh
完成Spark集群搭建啦!!!
原文地址:https://blog.csdn.net/qq_46138492/article/details/128591011
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。