VM12+CentOS6.5+hadoop2.7.3 搭建hadoop完全分布式集群



一:安装VM 12.x

下载地址:链接:http://pan.baidu.com/s/1c2KA3gW密码:3r67

二:安装CentOS6.5 +每台机器都要做的事

这里采用3台机器,其对应的IP和主机分别如下(他们的用户名都是master)

主机名 ip 对应的角色
master1 192.168.48.130 NameNode
slave1 192.168.48.131 Datanode1
slave2 192.168.48.132 Datanode2

这里我们可以采用安装一台虚拟机,然后进行克隆的方法,克隆出五台机器,然后修改对应的ip地址和用户名,VM安装虚拟机有三种网络连接方式,分别是桥接,NAT,仅主机模式,这里采用默认设置,即使用NAT,NAT模式下实用的是Vmnet8

2.1 安装vmware tools:

1、点击VMware菜单虚拟机选中安装VMware-tools

注:虚拟机桌面会生成VMwaretools DVD安装光盘


2、查看虚拟机设置ISO映像文件是否是VMwaretoolsDVDLinux.iso映像的文件:

+另外注意在设备状态上勾选 已连接。

3、centos系统中open terminal(打开终端)挂在VMwaretoolsDVD镜像:

4、执行cd命令进入到/mnt目录并copy(拷贝)VMwareTools-10.0.0-2977863.tar.gz/tmp目录:

5、执行cd命令进入/tmp目录并使用tar解压VMwareTools-10.0.0-2977863.tar.gz至当前目录下


6、解压缩完成之后使用ls查看/tmp目录下是否存在vmware-tools-distrib这个目录:

7、执行cd命令进入vmware-tools-distrib目录下,查看是否有vmware-install.pl这个常规文件:

8、在当前目录VMware-tools-distrib下执行./VMware-install.pl安装VMwaretools:之后一路回车就ok了。


9、至此VMwaretools安装完成,谢谢!


2.2安装jdk1.7


LinuxCentOS 6.6安装JDK1.7

目录

1、下载JDK

2、卸载JDK

3、安装JDK

3.1.rpm后缀格式JDK安装方式

3.2.tar.gz后缀格式JDK安装方式

4、验证安装


1、下载JDK(略)

2、卸载JDK

查看系统是否已安装JDK。一般的linux都默认使用了开源的openJDK。显示JDK版本信息,已经安装JDK,否则没有安装。命令行:

[plain] view plain copy
  1. java-version

[root@localhostDesktop]#java-version

javaversion"1.7.0_79"

Java(TM)SERuntimeEnvironment(build1.7.0_79-b15)

JavaHotSpot(TM)64-BitServerVM(build24.79-b02,mixedmode)

查找名字包含javajdk的已安装程序。查找到了,已经安装JDK,否则没有安装。命令行:

  • rpm-qa|grepjava
  • rpm-qa|grepjdk
  • [root@localhostDesktop]#rpm-qa|grepjava

    [root@localhostDesktop]#rpm-qa|grepjdk

    jdk-1.7.0_79-fcs.x86_64

    已安装JDK,卸载系统上JDK,+卸载分为单个卸载和批量卸载,建议批量卸载

    单个卸载程序,使用rpm-exxx命令。命令行:

  • rpm-ejdk-1.7.0_79-fcs.x86_64
  • [root@localhostDesktop]#rpm-ejdk-1.7.0_79-fcs.x86_64

    批量卸载所有名字包含jdk的已安装程序。命令行:

  • rpm-qa|grepjdk|xargsrpm-e--nodeps
  • [root@localhostDesktop]#rpm-qa|grepjdk|xargsrpm-e--nodeps

    批量卸载所有名字包含java的已安装程序。命令行:

  • rpm-qa|grepjava|xargsrpm-e--nodeps
  • [root@localhostDesktop]#rpm-qa|grepjava|xargsrpm-e--nodeps

    卸载后,查看JDK版本,已无信息,卸载成功。命令行:

  • java-version
  • [root@localhostDesktop]#java-version

    bash:/usr/bin/java:Nosuchfileordirectory

    3、安装JDK

    3.1.tar.gz后缀格式JDK安装方式

    安装jdk-7u79-linux-x64.tar.gz

    /usr目录下新建java文件夹,命令行:

  • mkdir/usr/java
  • [root@localhostDesktop]#mkdir/usr/java

    进入JDK压缩包所在目录,将压缩包复制到java文件夹中。复制文件用cpxxx命令,复制文件夹用cp-rxxx命令行:

  • cpjdk-7u79-linux-x64.gz/usr/java
  • [root@localhostDesktop]#cpjdk-7u79-linux-x64.gz/usr/java

    然后返回到根目录,再进入java目录,命令行:

  • cd/
  • cd/usr/java
  • [root@localhostDesktop]#cd/

    [root@localhostDesktop]#cd/usr/java

    压缩包解压,命令行:

  • tarxvfjdk-7u79-linux-x64.gz
  • [root@localhostDesktop]#tarxvfjdk-7u79-linux-x64.gz

    删除压缩包,输入yes确认删除。命令行:

  • rmjdk-7u79-linux-x64.gz
  • [root@localhostjava]#rmjdk-7u79-linux-x64.gz

    rm:removeregularfile`jdk-7u79-linux-x64.gz'?yes

    +选择以下两种方式之一,建议3.1.1

    3.1.1 设置对所有用户有效方式:修改/etc/profile文件设置系统变量,设置jdk环境变量,该方式对所有用户有效。

    使用VI编辑,输入命令,回车确认。命令行:

  • vi/etc/profile
  • [root@localhostDesktop]#vi/etc/profile

    打开之后在文件末尾添加下面配置。通过鼠标滑轮滚动到文件末尾,上下左右方向键控制光标输入位置。

  • exportJAVA_HOME=/usr/java/jdk1.7.0_79
  • exportJRE_HOME=$JAVA_HOME/jre
  • exportPATH=$PATH:$JAVA_HOME/bin
  • exportCLASSPATH=./:$JAVA_HOME/lib:$JRE_HOME/lib
  • 配置好后,按Esc退出,按Shift加英文冒号shift+:然后输入wq,按Enter回车键确认。取消编辑按Ctrl+z

    使profile配置生效。命令行:

  • source/etc/profile
  • [root@localhostDesktop]#source/etc/profile

    3.1.2设置对当前用户有效方式:修改.bashrc文件设置用户变量,设置jdk环境变量,该方式仅对当前用户有效,对其它用户无效,其它用户没有运行java命令的权限。命令行:

  • vi~/.bashrc
  • [root@localhostDesktop]#vi~/.bashrc

    bashrc文件中添加下面配置。Insert键进入编辑状态。

    exportCLASSPATH=./:$JAVA_HOME/lib:$JRE_HOME/lib

    使bashrc配置生效。命令行:

  • source~/.bashrc
  • [root@localhostDesktop]#source~/.bashrc

    配置好后,按Esc退出,按Shift加英文冒号shift+:然后输入wq,按Enter回车键确认。取消编辑按Ctrl+z

    设置对某个用户有效:如果要使JDK对某个用户有效,某个用户具有运行java命令的权限,修改该用户的.bashrc文件。

    例如:ROOT用户给dodobook2用户名运行java命令的权限。

  • vi/home/dodobook2/.bashrc
  • [root@LinuxServerroot]#vi/home/dodobook2/.bashrc

    bashrc文件中添加下面配置。Insert键进入编辑状态。

    exportCLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

    如果当前登录用户是dodobook2,使用vi~/.bashrc命令编辑修改。

  • vi~/.bashrc
  • [dodobook2@localhostDesktop]#vi~/.bashrc

    使用echo$JAVA_HOMEecho$CLASSPATHecho$PATH查看环境变量配置。

  • echo$JAVA_HOME
  • echo$CLASSPATH
  • echo$PATH
  • [root@localhostDesktop]#echo$JAVA_HOME

    /usr/java/jdk1.7.0_79

    [root@localhostDesktop]#echo$CLASSPATH

    ./:/usr/java/jdk1.7.0_79/lib:/usr/java/jdk1.7.0_79/jre/lib

    [root@localhostDesktop]#echo$PATH

    /usr/local/sbin:/usr/sbin:/sbin:/usr/local/bin:/usr/bin:/bin:/usr/java/jdk1.7.0_79/bin:/root/bin:/usr/java/jdk1.7.0_79/bin

    4、验证安装

    安装完成后,查看JDK版本。命令行:

    测试javac命令是否可用。命令行:

  • javac
  • [root@localhostDesktop]#javac

    Usage:javac<options><sourcefiles>

    wherepossibleoptionsinclude:

    -gGeneratealldebugginginfo

    -g:noneGeneratenodebugginginfo

    -g:{lines,vars,source}Generateonlysomedebugginginfo

    -nowarnGeneratenowarnings

    -verboseOutputmessagesaboutwhatthecompilerisdoing

    -deprecationOutputsourcelocationswheredeprecatedAPIsareused

    -classpath<path>Specifywheretofinduserclassfilesandannotationprocessors

    -cp<path>Specifywheretofinduserclassfilesandannotationprocessors

    -sourcepath<path>Specifywheretofindinputsourcefiles

    -bootclasspath<path>Overridelocationofbootstrapclassfiles

    -extdirs<dirs>Overridelocationofinstalledextensions

    -endorseddirs<dirs>Overridelocationofendorsedstandardspath

    -proc:{none,only}Controlwhetherannotationprocessingand/orcompilationisdone.

    -processor<class1>[,<class2>,<class3>...]Namesoftheannotationprocessorstorun;bypassesdefaultdiscoveryprocess

    -processorpath<path>Specifywheretofindannotationprocessors

    -d<directory>Specifywheretoplacegeneratedclassfiles

    -s<directory>Specifywheretoplacegeneratedsourcefiles

    -implicit:{none,class}Specifywhetherornottogenerateclassfilesforimplicitlyreferencedfiles

    -encoding<encoding>Specifycharacterencodingusedbysourcefiles

    -source<release>Providesourcecompatibilitywithspecifiedrelease

    -target<release>GenerateclassfilesforspecificVMversion

    -versionVersioninformation

    -helpPrintasynopsisofstandardoptions

    -Akey[=value]Optionstopasstoannotationprocessors

    -XPrintasynopsisofnonstandardoptions

    -J<flag>Pass<flag>directlytotheruntimesystem

    -WerrorTerminatecompilationifwarningsoccur

    @<filename>Readoptionsandfilenamesfromfile

    还可以写段代码测试下。用VI编辑java代码测试JDK是否能正常编译。按Insert键进入编辑状态。命令行:

  • vitest.java
  • classtest
  • {
  • publicstaticvoidmain(String[]args)
  • {
  • System.out.println("HelloWorld!");
  • }
  • }
  • [root@localhostDesktop]#vitest.java

    classtest

    {

    publicstaticvoidmain(String[]args)

    {

    System.out.println("HelloWorld!");

    }

    }

    写好后,按Esc退出,按Shift加英文冒号shift+:然后输入wq,按Enter回车键确认。

    编译运行。命令行:

  • javactest.java
  • javatest
  • [root@localhostDesktop]#javactest.java

    [root@localhostDesktop]#javatest

    HelloWorld!


    2.3:每台机器上关闭防火墙和selinux

    永久关闭防火墙:chkconfig --level 35 iptables off

    永久关闭selinux:

    vim /etc/selinux/config

    找到SELINUX 行修改成为:SELINUX=disabled:


    2.4修改IP地址(+本步骤在克隆后机器上回头需要修改部分3):

    1:查看本机ip

    我的电脑ip地址为:192.168.69.30

    Vmnet8的ipv4地址为:192.168.48.1

    3:打开虚拟机终端

    3.1 修改本机ip

    输入:sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0

    修改后的信息如下,需要修改的地方有红线标示出来了:

    eth0--->eth1

    dhcp--->static

    HWADDR MAC地址修改为本虚拟机的mac地址,mac地址查看 命令: ip addr,选择eth1那个

    ,+但是如果ip addr 和ifconfig都不能显示出eth1的ip,那么需要vi/etc/sysconfig/network-scripts/ifcfg-eth0设置ONBOOT=yes(这个要是yes)

    之后便可以查看ip了

    3.2修改主机名和对应IP

    1 : 编辑hosts文件

    sudo vim /etc/hosts

    添加 192.168.48.129 master

    注意: 执行完之后source/etc/hosts, 同时修改每台机器上的/etc/sysconfig/network 中hostname对应的用户名(此步骤一定要注意,否则容易找不到主机名)

    2:便捷network文件

    sudo vim /etc/sysconfig/network

    修改HOSTNAME为master

    重启生效

    三:安装hadoop集群

    1:配置SSH免密码登录

    进入~/.ssh目录

    每台机器执行:ssh-keygen -t rsa,一路回车

    生成两个文件,一个私钥,一个公钥,在master1中执行:cp id_rsa.pub authorized_keys

    a:本机无密钥登录

    修改authorized_keys权限:chmod 644 authorized_keys

    此时重启ssh服务:sudo service sshd restart

    ssh master1

    yes!!!

    b:master与其他节点无密钥登录

    从master中把authorized_keys分发到各个结点上(会提示输入密码,输入thinkgamer即可):

    scp /home/master/.ssh/authorized_keys slave1:/home/master/.ssh

    scp /home/master/.ssh/authorized_keys slave2:/home/master/.ssh

    然后在各个节点对authorized_keys执行(一定要执行该步,否则会报错):chmod 644 authorized_keys

    测试如下(第一次ssh时会提示输入yes/no,输入yes即可):

    2:解压hadoop到指定目录(我这里使用的是/opt/目录)

    tar -zxvfhadoop-2.7.0.tar.gz /opt/hadoop-2.7.0

    重命名文件:mv /opt/hadoop-2.7.0 /opt/hadoop

    7:修改配置文件

    hadoop-env.sh:

    [html] view plain copy
    1. exportJAVA_HOME=/opt/java
    2. 并加入下面这句告诉hadoop配置文件在哪里
    3. exportHADOOP_CONF_DIR=/opt/hadoop/etc/hadoop/

    core-site.xml:

  • <configuration>
  • property>
  • name>fs.default.name</value>hdfs://master1:9000>hadoop.tmp.dir>/opt/hadoop/tmp>
  • hdfs-site.xml:

    >dfs.replication>2>dfs.namenode.name.dir>file:/opt/hadoop/dfs/name>dfs.datanode.data.dir>file:/opt/hadoop/dfs/data>
    mapred-site.xml(本身没有该文件 复制mapred-site.xml.template一份
    >mapreduce.framework.name>yarn>mapreduce.jobhistory.address>Master:10020>mapreduce.jobhistory.webapp.address>Master:19888 yarn-site.xml:
  • <!--SitespecificYARNconfigurationproperties-->
  • >yarn.nodemanager.aux-services>mapreduce_shuffle>yarn.nodemanager.aux-services.mapreduce.shuffle.class>org.apache.hadoop.mapred.ShuffleHandler>yarn.resourcemanager.address>master1:8032>yarn.resourcemanager.scheduler.address>master1:8030>yarn.resourcemanager.resource-tracker.address>master1:8031>yarn.resourcemanager.admin.address>master1:8033>yarn.resourcemanager.webapp.address>master1:8088>
  • 8:编辑slaves文件

    清空加入从节点的名字

    slave1

    slave2

    9:将hadoop分发到各个节点(因为权限问题,先将该文件夹分发到各个节点的/home/master目录下,再进入各个节点将文件夹移到/opt下)

    scp -r /opt/hadoop slave1:/home/master/hadoop,进入该节点执行:sudo mv hadoop /opt/

    scp -r /opt/hadoop slave2:/home/master/hadoop,进入该节点执行:sudo mv hadoop /opt/

    10:在master节点格式化hdfs,+并启动

    bin/hdfs namenode -format

    看见status 0表示安装成功


    启动:在hadoop目录下执行sbin/start-all.sh

    四:web页面查看

    1:http://192.168.48.130:8088/

    2:http://192.168.48.130:50070/


    版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

    相关推荐


    linux下开机自启: 在/etc/init.d目录下新建文件elasticsearch 并敲入shell脚本: 注意, 前两行必须填写,且要注释掉。 第一行为shell前行代码,目的告诉系统使用shell。 第二行分别代表运行级别、启动优先权、关闭优先权,且后面添加开机服务会用到。 shell脚本
    1、因为在centos7中/etc/rc.d/rc.local的权限被降低了,所以需要赋予其可执行权 chmod +x /etc/rc.d/rc.local 2、赋予脚本可执行权限假设/usr/local/script/autostart.sh是你的脚本路径,给予执行权限 chmod +x /usr
    最简单的查看方法可以使用ls -ll、ls-lh命令进行查看,当使用ls -ll,会显示成字节大小,而ls- lh会以KB、MB等为单位进行显示,这样比较直观一些。 通过命令du -h –max-depth=1 *,可以查看当前目录下各文件、文件夹的大小,这个比较实用。 查询当前目录总大小可以使用d
    ASP.NET Core应用程序发布linux在shell中运行是正常的。可一但shell关闭网站也就关闭了,所以要配置守护进程, 用的是Supervisor,本文主要记录配置的过程和过程遇到的问题 安装Supervisor&#160;1 yum install python-setuptools
    设置时区(CentOS 7) 先执行命令timedatectl status|grep &#39;Time zone&#39;查看当前时区,如果不是时区(Asia/Shanghai),则需要先设置为中国时区,否则时区不同会存在时差。 #已经是Asia/Shanghai,则无需设置 [root@xia
    vim&#160;/etc/sysconfig/network-scripts/ifcfg-eth0 BOOTPROTO=&quot;static&quot; ONBOOT=yes IPADDR=192.168.8.106 NETMASK=255.255.252.0 GATEWAY=192.168.
    一、安装gcc依赖 由于 redis 是用 C 语言开发,安装之前必先确认是否安装 gcc 环境(gcc -v),如果没有安装,执行以下命令进行安装 [root@localhost local]# yum install -y gcc 二、下载并解压安装包 [root@localhost local
    第一步 On CentOS/RHEL 6.*: $ sudo rpm -Uvh http://li.nux.ro/download/nux/dextop/el6/x86_64/nux-dextop-release-0-2.el6.nux.noarch.rpm On CentOS/RHEL 7: $
    /// &lt;summary&gt; /// 取小写文件名后缀 /// &lt;/summary&gt; /// &lt;param name=&quot;name&quot;&gt;文件名&lt;/param&gt; /// &lt;returns&gt;返回小写后缀,不带“.”&lt;/ret
    which nohup .bash_profile中并source加载 如果没有就安装吧 yum provides */nohup nohup npm run start &amp; nohup ./kibana &amp;
    1.1 MySQL安装 1.1.1 下载wget命令 yum -y install wget 1.1.2 在线下载mysql安装包 wget https://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm 1.1.3 安装My
    重启 reboot shutdown -r now init 6 关闭 init 0 shutdown -h now shutdown -h 20:25 #8点25关机查看内存 free CPU利用率 top 日期 date 设置时间 date 033017002015 #月日时间年 日历 cal
    1、firewalld的基本使用 启动: systemctl start firewalld 关闭: systemctl stop firewalld 查看状态: systemctl status firewalld 开机禁用 : systemctl disable firewalld 开机启用 :
    1 下载并安装MySQL官方的&#160;Yum Repository wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm 使用上面的命令就直接下载了安装用的Yum Repository,大概
    CentOS6.x CentOS6中转用Upstrat代替以前的init.d/rcX.d的线性启动方式。 一、相关命令 通过initctl help可以查看相关命令 [root@localhost ~]# initctl help Job commands: start Start job. sto
    1、使用命令:df -lk 找到已满磁盘 2、使用命令:du --max-depth=1 -h 查找大文件,删除
    ifconfig:查看网卡信息 网卡配置文件位置: /etc/sysconfig/network-scripts/文件夹 nmtui:配置网卡 netstat -tlunp:查看端口信息 端口信息存储位置: /etc/services文件 route:查看路由信息 wget:下载网路文件,例如 wg
    ps -ef:查看所有进程,&#160;ps -ef |grap firewalld 查看与firewalld相关的进程 which :查看进程:which firewalld kill 进程id:杀掉进程 kill 640,强制杀:kill -9 640 man:查看帮助,例如 man ps 查看
    useradd:添加用户 useradd abc,默认添加一个abc组 vipw:查看系统中用户 groupadd:添加组groupadd ccna vigr:查看系统中的组 gpasswd:将用户abc添加到ccna组 gpasswd -a abc ccna groups abc:查看用户abc属