hadoop2.7+spark2.2+zookeeper3.4.简单安装

编程之家收集整理的这篇文章主要介绍了hadoop2.7+spark2.2+zookeeper3.4.简单安装编程之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

1、zookeeper的安装
##配置/etc/hosts
192.168.88.130 lgh
192.168.88.131 lgh1
192.168.88.132 lgh2

##安装java8
解压配置环境即可

##ssh(每一台机器)
ssh-keyscan #生成密码
ssh-copy-id lgh2 #复制到不同机器

##创建用户
useradd -d /home/spark spark
passwd spark

##解压
tar -zxvf zookeeper-3.4.8.tar.gz -C xxx目录

##创建软链接(每一台机器)
ln -s zookeeper-3.4.8 zookeeper

##创建环境变量
vim ~/.bashrc
export ZOOKEEPER_HOME=/home/spark/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$PATH

##修改配置文件
cd /home/spark/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

#配置信息如下:
tickTime=2000 #服务器与客户端之间交互的基本时间单元(ms)
initLimit=10 # 此配置表示允许follower连接并同步到leader的初始化时间,它以tickTime的倍数来表示。当超过设置倍数的tickTime时间,则连接失败
syncLimit=5 # Leader服务器与follower服务器之间信息同步允许的最大时间间隔,如果超过次间隔,默认follower服务器与leader服务器之间断开链接
dataDir=/home/spark/zookeeper/data #保存zookeeper数据路径
dataLogDir=/home//spark/zookeeper/dataLog #保存zookeeper日志路径,当此配置不存在时默认路径与dataDir一致
clientPort=2181 #客户端访问zookeeper时经过服务器端时的端口号
server.1=lgh:2888:3888 #表示了不同的zookeeper服务器的自身标识,作为集群的一部分,每一台服务器应该知道其他服务器的信息
server.2=lgh1:2888:3888
server.3=lgh2:2888:3888
maxClientCnxns=60 #限制连接到zookeeper服务器客户端的数量

##创建myid文件
cd /home/spark/zookeeper/data
vim myid #输入1

##复制到其他机器
scp -r zookeeper-3.4.8 spark@lgh1:/home/spark/
scp -r zookeeper-3.4.8 spark@lgh2:/home/spark/

#修改myid文件
不同机器数字不一样,分别为2和3

##启动
zkServer.sh start

#查看状态
zkServer.sh status

#查看进程
jps
QuorumPeerMain


2、hadoop安装

##解压
tar -zxvf hadoop-2.7.7.tar.gz -C xxx目录

##修改vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk

##修改 vim etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://lgh:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/spark/hadoop-2.7.7/tmp</value>         
</property>
</configuration>

##修改vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop/dfs/name</value>
  </property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop/hdfs/data</value>
</property>
</configuration>

#修改vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

##修改yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

##修改 vim slaves
lgh
lgh1
lgh2


##复制到其他机器
scp -r hadoop-2.7.7/ spark@lgh1:/home/spark/
scp -r hadoop-2.7.7/ spark@lgh2:/home/spark/

##配置环境变量
HADOOP_HOME=/home/spark/hadoop
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

##格式化
hdfs namenode -format

##启动
start-all.sh

##查看进程
#主节点
9616 QuorumPeerMain
11264 ResourceManager
10818 Datanode
11061 SecondaryNameNode
11751 Jps
10714 NameNode
11370 NodeManager

#从节点
2273 QuorumPeerMain
2547 NodeManager
2438 Datanode
2653 Jps


3、spark的安装
##安装scala
tar -zxvf scala-2.12.8.tgz -C /usr/local/
ln -s scala-2.12.8/ scala

##配置环境变量
export SCALA_HOME=/usr/local/scala
export PATH=$SCALA_HOME/bin:$PATH

##复制到其他机器并建立软链接
scp -r scala-2.12.8/ root@lgh1:/usr/local/
scp -r scala-2.12.8/ root@lgh2:/usr/local/

##解压spark
tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C xxx目录

##修改配置文件
cd /home/spark/spark-2.2.0-bin-hadoop2.7/conf
cp spark-env.sh.template spark-env.sh

vim spark-env.sh
配置信息如下:
export JAVA_HOME=/usr/local/jdk
export SCALA_HOME=/usr/local/scala
export HADOOP_HOME=/home/spark/hadoop
export HADOOP_CONF_DIR=/home/spark/hadoop/etc/hadoop
export SPARK_MASTER_IP=SparkMaster
export SPARK_WORKER_MEMORY=2g
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1

cp slaves.template slaves
vim slaves
配置信息如下:
lgh
lgh1
lgh2

##复制到其他节点并建立软链接
scp -r spark-2.2.0-bin-hadoop2.7 spark@lgh1:/home/spark/
scp -r spark-2.2.0-bin-hadoop2.7 spark@lgh2:/home/spark/

##配置环境变量
export SPARK_HOME=/home/spark/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

##启动
cd /home/spark/spark/sbin && ./start-all.sh

##jps查看主节点进程
9616 QuorumPeerMain
11264 ResourceManager
12704 Worker
10818 Datanode
12756 Jps
11061 SecondaryNameNode
12632 Master
10714 NameNode
11370 NodeManager

##jps查看从节点进程
2240 Datanode
2562 Worker
2052 QuorumPeerMain
2613 Jps

 

总结

以上是编程之家为你收集整理的hadoop2.7+spark2.2+zookeeper3.4.简单安装全部内容,希望文章能够帮你解决hadoop2.7+spark2.2+zookeeper3.4.简单安装所遇到的程序开发问题。

如果觉得编程之家网站内容还不错,欢迎将编程之家网站推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您喜欢寻找一群志同道合、互帮互助的学习伙伴,可以点击下方链接加入:
编程之家官方1群:1065694478(已满)
编程之家官方2群:163560250(已满)
编程之家官方3群:312128206

相关文章

猜你在找的大数据相关文章

###windows下链接hadoop集群 1、假如在linux机器上已经搭建好hadoop集群 2、在windows上把hadoop的压缩包解压到一个没有空格的目录下,比如是D盘根目录 3、配置环境
1、zookeeper的安装##配置/etc/hosts192.168.88.130 lgh192.168.88.131 lgh1192.168.88.132 lgh2 ##安装java8 解压配置环
一、迁移背景 服务器出了问题,导致整个cm server界面呈现出不可用的状态,也就是获取不到各个大数据组件以及主机相关的状态的信息,整个cm server的前端界面处于瘫痪的状态,不可用,刚开始怀疑
在前面一篇文章中(hadoop2.7之作业提交详解(上))中涉及到文件的分片。 JobSubmitter.submitJobInternal方法中调用了int maps = writeSplits(j
根据wordcount进行分析: 这上面是个简单wordcount的代码,这里就不一一说明了,我们首先看main方法:获取一个job对象,然后经过一系列的设置,最后调用waitForCompletio
Apache YARN(Yet Another Resource Negotiator)是一个Hadoop集群资源管理系统。YARN是在Hadoop 2引入的,用以改善MapReduce的表现。但是它
数据流 读取文件数据的剖析 为了知道客户端与HDFS,NameNode,DataNode交互过程中数据的流向,请看图3 2,这张图显示了读取文件过程中主要的事件顺序。 客户端通过调用FileSyste
Hive支持自定义map与reduce script。接下来我用一个简单的wordcount例子加以说明。 如果自己使用Java开发,需要处理System.in,System,out以及key/val