1.基本环境：
操作系统：
Centos 7.2.1511
三台虚机：
192.168.163.224 master
192.168.163.225 node1
192.168.163.226 node2
软件包
hadoop-2.7.2.tar.gz
jdk-7u79-linux-x64.tar.gz
2.配置系统环境
配置ntp时间同步
参考http://www.jb51.cc/article/p-twrnnirs-bch.html
修改hostname
192.168.163.224主机：
echo"master">/etc/hostname
192.168.163.225主机：
echo"node1">/etc/hostname
192.168.163.226主机：
echo"node2">/etc/hostname
master上修改hosts文件
echo"192.168.163.224master">>/etc/hosts echo"192.168.163.225node1">>/etc/hosts echo"192.168.163.225node2">>/etc/hosts
同步到node1，node2上的主机
scp/etc/hostsnode1:/etc/ scp/etc/hostsnode2:/etc/
各台主机上相互ping，测试是否可以通过host连通
pingmaster pingnode1 pingnode2
master，node1，node2上关闭防火墙
systemctlstopfirewalld systemctldisablefirewalld
3.配置hadoop环境
master，node1，node2上安装jdk
rpm-qa|grepopenjdk#检查openjdk，存在则删除
yumremove*-openjdk-*####删除openjdk#####
安装sunjdk
###yum install glibc.i686 64位系统安装32位包，需要安装
tar-zxvfjdk-7u79-linux-x64.tar.gz
mv./jdk1.7.0_79/usr/
master，node1，node2上创建hadoop用户
useradd hadoop #增加hadoop用户，用户组、home目录、终端使用默认
passwd hadoop #修改密码
建议在学习阶段将hadoop用户加入sudo权限管理，简单方法如下
1.执行visudo命令
2.在root ALL=(ALL) ALL 后加入
hadoop ALL=(ALL) ALL
master，node1，node2上进入hadoop用户：
su - hadoop
master，node1，node2上无密钥连接：
master上的hadoop用户通过rsa算法生成非对称密钥对：
ssh-keygen-trsa cd/home/hadoop/.ssh/ cpid_rsa.pubauthorized_keys chmodgo-wxauthorized_keys
master上的公钥authorized_keys拷贝到node1，node2上的hadoop用户
scpauthorized_keysnode1:/home/hadoop/.ssh/ scpauthorized_keysnode2:/home/hadoop/.ssh/
可通过如下命令测试
ssh node1
ssh node2
为方便node1，node2中hadoop用户可以同时登录master，这里我们集群中的所有用户共用一个密钥（仅仅为了方便，实际环境一定不要这样用）
scp~/.ssh/id_rsanode1:/home/hadoop/.ssh/ scp~/.ssh/id_rsanode2:/home/hadoop/.ssh/
master，node1，node2上修改环境变量
vi/etc/profile JAVA_HOME=/usr/jdk1.7.0_79 HADOOP_HOME=/usr/local/hadoop exportPATH=$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH su-hadoop#重新读取环境变量
master，node1，node2上创建相关目录
sudomkdir-p/usr/local/hadoop sudochown-Rhadoop:hadoop/usr/local/hadoop sudomkdir-p/data/hadoop/#创建hadoop数据目录结构 sudochown-Rhadoop:hadoop/data/hadoop/ mkdir-p/data/hadoop/tmp/#创建tmp mkdir-p/data/hadoop/hdfs/#创建hdfs mkdir-p/data/hadoop/hdfs/data#创建datanode目录 mkdir-p/data/hadoop/hdfs/name#创建namenode目录 mkdir-p/data/hadoop/hdfs/namesecondary
安装hadoop
wgethttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz tar-zxvfhadoop-2.7.2.tar.gz mvhadoop-2.7.2/usr/local/hadoop chown-Rhadoop:hadoop/usr/local/hadoop/
/usr/local/hadoop目录结构分析：
bin：存放基本的管理脚本和使用脚本
etc：所有配置文件的存放文件
include：对外提供的c++编程库头文件
lib ：对外提供的c++编程库动态库和静态库
libexec：各个服务对应的shell配置文件所在目录
logs：存放日志文件
sbin：存放管理脚本，主要包含HDFS及YARN中各类服务的启动与停止脚本
share：各个模块编译后的jar包所在目录
4.修改配置文件
配置文件相关变量详细解释可查看官网：
http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/
cd$HADOOP_HOME/etc/hadoop
4.1 vi hadoop-env.sh
exportHADOOP_HEAPSIZE=128#默认为1000M，这里我们修改为128M
4.2 vi core-site.xml #全局配置
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> <!--namenode服务器地址和端口，以域名(或ip)形式--> </property> <property> <name>dfs.namenode.checkpoint.period</name> <value>1800</value> <!--edits每隔30分钟触发一次合并，默认为60分钟--> </property> </property> <property> <name>fs.checkpoint.size</name> <value>67108864</value> <!--edits达到一定值就触发一次合并--> </property> <property> <name>fs.trash.interval</name> <value>1440</value> <!--文件回收站,自动回收时间,单位分钟,这里设置是1天，默认为0。--> </property> <property> <name>hadoop.tmp.dir</name> <value>/data/hadoop/tmp</value> <!--默认临时路径，这个最好配置，如果在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录，那么就需要重新执行NameNode格式化的命令。/data/hadoop/tmp这里给的路径不需要创建会自动生成.--> </property> <property> <name>io.file.buffer.size</name> <value>131702</value> <!--流文件的缓冲区--> </property> </configuration>
4.3 vi hdfs-site.xml #hdfs中NameNode,DataNode局部配置
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>/data/hadoop/hdfs/name</value> <!--namenode数据镜象目录--> </property> <property> <name>dfs.datanode.data.dir</name> <value>/data/hadoop/hdfs/data</value> <!--datanode数据镜象存储路径,可以配置多个不同的分区和磁盘中,使用,号分隔--> </property> <property> <name>dfs.namenode.http-address</name> <value>master:50070</value> <!---HDFSWeb查看主机和端口--> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>node1:50090</value> <!--辅控HDFSweb查看主机和端口--> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> <property> <name>dfs.replication</name> <value>3</value> <!--HDFS数据保存份数，通常是3--> </property> <property> <name>dfs.datanode.du.reserved</name> <value>1073741824</value> <!--datanode写磁盘会预留1G空间给其他程序使用,而非写满--> </property> <property> <name>dfs.block.size</name> <value>134217728</value> <!--HDFS数据块大小，默认为128M--> </property> <property> <name>dfs.permissions.enabled</name> <value>false</value> <!--HDFS关闭文件权限--> </property> </configuration>
4.4 vi etc/hadoop/mapred-site.xml.template #配置MapReduce，使用yarn框架、jobhistory使用地址以及web地址
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobtracker.http.address</name> <value>master:50030</value> </property> <property> <name>mapred.job.tracker</name> <value>http://master:9001</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property> </configuration> cpetc/hadoop/mapred-site.xml.templateetc/hadoop/mapred-site.xml
4.5 vi etc/hadoop/yarn-site.xml 配置yarn-site.xml文件
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property> </configuration>
4.6 vi hadoop-env.sh及vi yarn-env.sh
将其中的${JAVA_HOME}用/usr/jdk1.7.0_79代替
5.检查单机版Hadoop
测试hdfs中的namenode与datanode：
hadoop-daemon.shstartnamenode chmodgo-w/data/hadoop/hdfs/data/ hadoop-daemon.shstartdatanode
测试resourcemanager：
yarn-daemon.shstartresourcemanager
测试nodemanager：
yarn-daemon.shstartnodemanager
测试historyserver：
mr-jobhistory-daemon.shstarthistoryserver
执行jps：
99297Jps 99244DataNode 98956JobHistoryServer 98820NodeManager 98118NameNode 98555ResourceManager
上述表明单机版hadoop安装成功
6.集群搭建
scp-r$HADOOP_HOME/node1:/usr/local/ scp-r$HADOOP_HOME/node2:/usr/local/
在master上进行配置
vi $HADOOP_HOME/etc/hadoop/slaves #这里指定里副本数为2，这里指定node1，node2
删除localhost
添加
master
node1
node2
vi $HADOOP_HOME/etc/hadoop/masters
删除localhost
添加
node1 #目的是为了在node1节点上存放secondnamenode
2.xx版本不再有master这个文件了，在hdfs-site.xml这个配置文件中的dfs.namenode.secondary.http-address项中已经指定node1为secondarynamenode
7.测试集群是否搭建成功
$HADOOP_HOME/bin/hdfs namenode -format
master上
开启所有节点：start-all.sh(或start-dfs及start-yarn.sh代替)
各节点执行jps
master： 98956JobHistoryServer 98820NodeManager 118806Jps 118176NameNode 118540ResourceManager
node1： 106408SecondaryNameNode 106602Jps 106301DataNode 106496NodeManager
node2： 105932Jps 105812NodeManager 105700DataNode
存在上述状态，说明集群搭建成功
关闭所有节点：stop-all.sh(或stop-dfs.sh及stop-yarn.sh代替)
同时可以访问网页进行查看：
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。