VM+CentOS+hadoop2.7搭建hadoop完全分布式集群

分类：CentOS作者：编程之家用户

写在前边的话：

最近找了一个云计算开发实习生的工作，本以为来了会直接做一些敲代码，处理数据的活，没想到师父给了我一个课题“基于质量数据的大数据分析”，NameNode问题来了首先要做的就是搭建这样一个平台，毫无疑问，底层采用hadoop集群，在此之上，进行一些其他组件的安装和二次开发


hadoop伪分布部署参考：点击打开链接

hadoop单机版部署参考：点击打开链接

一：安装VM 12.x

下载地址：链接：http://pan.baidu.com/s/1c2KA3gW密码：3r67

二：安装CentOS6.5

这里采用3台机器，其对应的IP和主机分别如下（他们的用户名都是master）

主机名 ip 对应的角色
master1 192.168.48.130 NameNode
slave1 192.168.48.131 Datanode1
slave2 192.168.48.132 Datanode2

这里我们可以采用安装一台虚拟机，然后进行克隆的方法，克隆出五台机器，然后修改对应的ip地址和用户名，VM安装虚拟机有三种网络连接方式，分别是桥接，NAT，仅主机模式，这里采用默认设置，即使用NAT，NAT模式下实用的是Vmnet8

修改IP地址：

1：查看本机ip

我的电脑ip地址为：192.168.69.30

Vmnet8的ipv4地址为：192.168.48.1

2：确定虚拟机IP地址范围和网关地址，下图红线标示


3：打开虚拟机终端

输入：sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0

修改后的信息如下，需要修改的地方有红线标示出来了：

eth0--->eth1

dhcp--->static

HWADDR MAC地址修改为本虚拟机的mac地址，mac地址查看 ip addr，选择eth1那个

之后便可以使用ifconfig查看ip了

修改主机名和对应IP：

1：编辑hosts文件

sudo vim /etc/hosts

清空内容，添加 192.168.48.129 master

2：便捷network文件

sudo vim /etc/sysconfig/network

修改HOSTNAME为master

重启生效

三：安装hadoop集群

0：每台机器上关闭防火墙和selinux

永久关闭防火墙：chkconfig --level 35 iptables off

永久关闭selinux：

vim /etc/selinux/config

找到SELINUX 行修改成为：SELINUX=disabled:

1：每台机器上安装java环境（jdk-7u51-linux-x64.tar）

解压到指定目录，这里我选择的是/opt

tar -zxvf jdk-7u51-linux-x64.tar /opt

修改文件夹名字为java

mv /opt/jdk1.7.0_51 /opt/java

配置环境变量，打开/etc/profile文件，加入java的路径

vim /etc/profile (如果没有权限可以前边加入sudo)

文件前边写上：

export JAVA_HOME=/opt/java
export CLASSPATH=.:%JAVA_HOME%/lib/dt.jar:%JAVA_HOME%/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

2：配置每台机器的主机名

清空每台机器上的/etc/hosts文件内容，添加如下：

192.168.48.130 master1
192.168.48.131 slave1
192.168.48.132 slave2

执行完之后source/etc/hosts

同时修改每台机器上的/etc/sysconfig/network 中hostname对应的用户名（此步骤一定要注意，否则容易找不到主机名）

3：给master用户增加sudo权限

1）切换到root用户，su 输入密码

2）给sudoers增加写权限：chmod u+w /etc/sudoers

3）编译sudoers文件：vim /etc/sudoers
在root ALL=(ALL)ALL下方增加 master ALL=(ALL)NOPASSWD:ALL
4）去掉sudoers文件的写权限：chmod u-w /etc/sudoers

4：每台机器都切换到master用户下

su master

5：配置SSH免密码登录

进入~/.ssh目录

每台机器执行：ssh-keygen -t rsa，一路回车

生成两个文件，一个私钥，一个公钥，在master1中执行：cp id_rsa.pub authorized_keys

a：本机无密钥登录

修改authorized_keys权限：chmod 644 authorized_keys

此时重启ssh服务：sudo service sshd restart

ssh master1

yes!!!

b：master与其他节点无密钥登录

从master中把authorized_keys分发到各个结点上(会提示输入密码，输入thinkgamer即可)：

scp /home/master/.ssh/authorized_keys slave1:/home/master/.ssh

scp /home/master/.ssh/authorized_keys slave2:/home/master/.ssh

然后在各个节点对authorized_keys执行(一定要执行该步，否则会报错)：chmod 644 authorized_keys

测试如下（第一次ssh时会提示输入yes/no，输入yes即可）：

6：解压hadoop到指定目录（我这里使用的是/opt/目录）

tar -zxvfhadoop-2.7.0.tar.gz /opt/hadoop-2.7.0

重命名文件：mv /opt/hadoop-2.7.0 /opt/hadoop

7：修改配置文件

hadoop-env.sh：

       export JAVA_HOME=/opt/java

core-site.xml：

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://master1:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
</configuration>

hdfs-site.xml：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/opt/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/opt/hadoop/dfs/data</value>
  </property>
</configuration>
mapred-site.xml： 

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>Master:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>Master:19888</value>
  </property>
</configuration>
yarn-site.xml： 

<configuration>

<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>master1:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master1:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master1:8031</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>master1:8033</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>master1:8088</value>
  </property>
</configuration>

8：编辑slaves文件

清空加入从节点的名字

slave1

slave2

9：将hadoop分发到各个节点（因为权限问题，先将该文件夹分发到各个节点的/home/master目录下，再进入各个节点将文件夹移到/opt下）

scp -r /opt/hadoop slave1:/home/master/hadoop,进入该节点执行：sudo mv hadoop /opt/

scp -r /opt/hadoop slave2:/home/master/hadoop,进入该节点执行：sudo mv hadoop /opt/

10：在master节点格式化hdfs

bin/hdfs namenode -format

看见status 0表示安装成功

四：web页面查看

1：http://192.168.48.130:8088/

2：http://192.168.48.130:50070/



五：问题记录

1：linux文件夹权限

eg：

第一列共有十位
第一位，d：表示是一个目录，-：表示一个普通的文件
第2-4位：rwx：分别表示读，写，执行，这里显示为rwx表示文件所有者对该文件拥有读写执行的权利（补充一点，rwx用数字表示为4,2,1）
第5-7位：r-x：表示与该文件所有者的同组用户拥有该文件的读和执行的权限
第8-10位：r-x：表示其他组的用户对该文件拥有读和执行的权利

2：linux基本命令

查看用户所属用户组 id hostname / groups hostname

vim命令： 查找：/xxxx

清空： gg dG

参考： http://www.cnblogs.com/laov/p/3421479.html

http://www.aboutyun.com/thread-7781-1-1.html

http://blog.sina.com.cn/s/blog_821d83720102vkx5.html

http://www.aboutyun.com/thread-10572-1-1.html(HA配置)

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

elasticsearch 开机自启
linux下开机自启： 在/etc/init.d目录下新建文件elasticsearch 并敲入shell脚本： 注意， 前两行必须填写，且要注释掉。 第一行为shell前行代码，目的告诉系统使用shell。 第二行分别代表运行级别、启动优先权、关闭优先权，且后面添加开机服务会用到。 shell脚本
centos7 开机自动执行脚本
1、因为在centos7中/etc/rc.d/rc.local的权限被降低了，所以需要赋予其可执行权 chmod +x /etc/rc.d/rc.local 2、赋予脚本可执行权限假设/usr/local/script/autostart.sh是你的脚本路径，给予执行权限 chmod +x /usr
centos 目录磁盘使用情况
最简单的查看方法可以使用ls -ll、ls-lh命令进行查看，当使用ls -ll，会显示成字节大小，而ls- lh会以KB、MB等为单位进行显示，这样比较直观一些。 通过命令du -h –max-depth=1 *，可以查看当前目录下各文件、文件夹的大小，这个比较实用。 查询当前目录总大小可以使用d
centos7 守护进程
ASP.NET Core应用程序发布linux在shell中运行是正常的。可一但shell关闭网站也就关闭了，所以要配置守护进程， 用的是Supervisor，本文主要记录配置的过程和过程遇到的问题 安装Supervisor&#160;1 yum install python-setuptools
Centos 同步时间
设置时区（CentOS 7） 先执行命令timedatectl status|grep &#39;Time zone&#39;查看当前时区，如果不是时区（Asia/Shanghai），则需要先设置为中国时区，否则时区不同会存在时差。 #已经是Asia/Shanghai，则无需设置 [root@xia
Centos 固定ip
vim&#160;/etc/sysconfig/network-scripts/ifcfg-eth0 BOOTPROTO=&quot;static&quot; ONBOOT=yes IPADDR=192.168.8.106 NETMASK=255.255.252.0 GATEWAY=192.168.
centos7 安装redis
一、安装gcc依赖 由于 redis 是用 C 语言开发，安装之前必先确认是否安装 gcc 环境（gcc -v），如果没有安装，执行以下命令进行安装 [root@localhost local]# yum install -y gcc 二、下载并解压安装包 [root@localhost local
netcore linux ffmpeg 首帧图
第一步 On CentOS/RHEL 6.*: $ sudo rpm -Uvh http://li.nux.ro/download/nux/dextop/el6/x86_64/nux-dextop-release-0-2.el6.nux.noarch.rpm On CentOS/RHEL 7: $
netcore 图片缩略图
/// &lt;summary&gt; /// 取小写文件名后缀 /// &lt;/summary&gt; /// &lt;param name=&quot;name&quot;&gt;文件名&lt;/param&gt; /// &lt;returns&gt;返回小写后缀，不带“.”&lt;/ret
.net core 与ELK（4）后台运行els可视化工具和Kibana
which nohup .bash_profile中并source加载 如果没有就安装吧 yum provides */nohup nohup npm run start &amp; nohup ./kibana &amp;
Centos安装mysql57
1.1 MySQL安装 1.1.1 下载wget命令 yum -y install wget 1.1.2 在线下载mysql安装包 wget https://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm 1.1.3 安装My
CentOS 系统管理与yum软件仓库搭建
重启 reboot shutdown -r now init 6 关闭 init 0 shutdown -h now shutdown -h 20：25 #8点25关机查看内存 free CPU利用率 top 日期 date 设置时间 date 033017002015 #月日时间年 日历 cal
CentOS 防火墙
1、firewalld的基本使用 启动： systemctl start firewalld 关闭： systemctl stop firewalld 查看状态： systemctl status firewalld 开机禁用 ： systemctl disable firewalld 开机启用 ：
Centos 查找命令路径
which docker
centos7 安装mysql5.7
1 下载并安装MySQL官方的&#160;Yum Repository wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm 使用上面的命令就直接下载了安装用的Yum Repository，大概
CentOS6/7 配置守护进程
CentOS6.x CentOS6中转用Upstrat代替以前的init.d/rcX.d的线性启动方式。 一、相关命令 通过initctl help可以查看相关命令 [root@localhost ~]# initctl help Job commands: start Start job. sto
centos 磁盘满
1、使用命令：df -lk 找到已满磁盘 2、使用命令：du --max-depth=1 -h 查找大文件，删除
CentOS 网络操作
ifconfig：查看网卡信息 网卡配置文件位置： /etc/sysconfig/network-scripts/文件夹 nmtui：配置网卡 netstat -tlunp：查看端口信息 端口信息存储位置： /etc/services文件 route：查看路由信息 wget：下载网路文件，例如 wg
CentOS 进程操作
ps -ef：查看所有进程，&#160;ps -ef |grap firewalld 查看与firewalld相关的进程 which ：查看进程：which firewalld kill 进程id：杀掉进程 kill 640，强制杀：kill -9 640 man：查看帮助，例如 man ps 查看
CentOS 用户/组与权限
useradd：添加用户 useradd abc，默认添加一个abc组 vipw：查看系统中用户 groupadd：添加组groupadd ccna vigr：查看系统中的组 gpasswd：将用户abc添加到ccna组 gpasswd -a abc ccna groups abc：查看用户abc属
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot