Hadoop2-8-0的环境搭建

分类：Hadoop作者：编程之家用户
title copyright date tags categories
Hadoop2.8.0的环境搭建 true 2019-08-09 12:12:44 -0700
Liunx Hadoop
Liunx Hadoop

此文为在centos7下安装Hadoop集群

前期准备

Hadoop下载

Hadoop的下载

本文下载的是2.8.0版本的Hadoop

Hadoop

安装3个虚拟机并实现ssh免密码的登录

安装3个centos7虚拟机

安装方法：

安装3个机器，机器分别叫master slave1 slave2

如图：

Hadoop

ps：为了免去后面一系列授权的麻烦，这里直接使用root账户登录和操作了。

使用ifconfig命令，查看着三台机器的ip。

我的机器名与ip 的对应的关系是：

192.168.236.132 master
192.168.236.133 slave1
192.168.236.134 slave2

检查机器名称

为了后续操作方便，确保机器的hostname是我们想要的。拿192.168.236.132机器举例，用root账户登录之后，然后使用hostname命令查看机器名称

如图：

Hadoop

hostname命令查看名称一开始的名称是localhost

我们用hostname master命令更改机器名称为master

修改/etc/hosts文件

修改这3台机器的/etc/hosts文件，在文件中添加以下内容： 192.168.236.132 master 192.168.236.133 slave1 192.168.236.134 slave2 如图：

Hadoop

说明：ip地址没必要和我的一样，这里只是做一个映射，只要映射是对的就可以，至于修改方法，vi vim 命令都可以。

配置成功后使用 ping 命令检查者3台机器是否相互ping的通，以master为例，：

Hadoop

说明能够ping通

使用该命令 在各个机器都尝试是否可以ping通,ping得通，说明机器是互联的，而且hosts配置也正确。

给3个机器生成秘钥文件

以master为例，执行命令，生成空字符串的秘钥（后面要使用公钥），命令是：

ssh-keygen -t rsa

如图：

Hadoop

因为我现在使用的是root账户，所以秘钥文件保存到了/root/.shh/目录内，可以使用命令查看，命令是：

cd /root/.ssh

然后ls

如图：

Hadoop

使用相同的方法为slave1与slave2生成秘钥（命令相同，不用做任何修改）。

在master上创建authorized_keys文件

接下来要做的事情就是在3台机器的/root/.shh/目录下都存入一个内容相同的文件，文件名称叫authorized_keys，文件内容是我们刚才为3台机器生成的公钥。

为了方便，我下面的步骤是现在master上生成authorized_keys文件，然后把3台机器刚才生成的公钥加入到这个master的authorized_keys文件里，然后在将这个authorize_keys文件复制到slave1与slave2里。

首先使用命令，在master的/root/.ssh/目录中生成一个名为authorized_keys的文件，命令是：

touch /root/.shh/authorized_keys

如图：

Hadoop

因为我已经在.ssh目录中了，所以直接在该目录打 touch authorized_keys 命令就可以

其次将master上的/root/.ssh/id_rsa.pub文件内容，slave1上的/root/.ssh/id_rsa.pub文件内容，slave2上的/root/.ssh/id_rsa.pub文件内容复制到这个authorized_keys文件中.

复制的方法很多了，可以用cat命令和vim命令结合来弄，也可以直接把这3台机器上的/root/.ssh/id_rsa.pub文件下载到本地，在本地将authorized_keys文件编辑好在上载到这3台机器上。master机器上我的/root/.ssh/id_rsa.pub内容是:

如图：

Hadoop

先将master的id_rsa.pub加到authorized_keys中：

Hadoop

然后将slave1与slave2中的d_rsa.pub复制到master的authorized_keys中

如图：

Hadoop

将authorized_keys文件复制到其他机器

master器的/root/.ssh/目录下已经有authorized_keys这个文件了，该文件的内容也已经OK了，接下来要将该文件复制到slave1的/root/.ssh/和slave2的/root/.ssh/。

Hadoop

（输入yes）

测试使用ssh进行无密码登录

输入命令：

ssh slave1

如图：

Hadoop

显示这样便就是连接成功，exit 命令退出

接下来便在 slave1与slave2中测试

安装Jdk与Hadoop

说明，为了省去一系列获取管理员权限，授权等繁琐操作，精简教程，这里都是使用root账户登录并且使用root权限进行操作。

安装jdk

安装： 可以参考我的Centos7下的Jdk安装

安装hadoop

注意：3台机器都要解压安装

上载文件并解压缩

在opt目录下新建一个名为hadoop的目录，并将下载得到的hadoop-2.8.0.tar上载到该目录下，如图:

Hadoop

（此处使用的是xftp6）

然后进入到该目录，执行命令：

cd /opt/hadoop

执行解压命令：

tar -zxvf hadoop-2.8.0.tar.gz

说明：3台机器都要进行上述操作，解压缩后得到一个名为hadoop-2.8.0的目录

新建几个目录
mkdir  /root/hadoop  
mkdir  /root/hadoop/tmp  
mkdir  /root/hadoop/var  
mkdir  /root/hadoop/dfs  
mkdir  /root/hadoop/dfs/name  
mkdir  /root/hadoop/dfs/data
修改etc/hadoop中的一系列配置文件

修改core-site.xml

修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/core-site.xml文件

        在<configuration>节点内加入配置:
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
</property>
<property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
</property>

修改hadoop-env.sh

修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/hadoop-env.sh文件

        将export   JAVA_HOME=${JAVA_HOME}
        修改为：
        export   JAVA_HOME=/opt/java/jdk1.8.0_201
        说明：修改为自己的JDK路径

修改hdfs-site.xml

修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/hdfs-site.xml文件
在<configuration>节点内加入配置:
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/dfs/name</value>
<description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/dfs/data</value>
<description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

<property>
    <name>dfs.permissions</name>
    <value>false</value>
    <description>need not permissions</description>
</property>
        说明：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。

新建并且修改mapred-site.xml

在该版本中，有一个名为mapred-site.xml.template的文件，复制该文件，然后改名为mapred-site.xml，命令是：

cp /opt/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml.template /opt/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml

修改这个新建的mapred-site.xml文件，在<configuration>节点内加入配置:
<property>
    <name>mapred.job.tracker</name>
    <value>master:49001</value>
</property>
<property>
    <name>mapred.local.dir</name>
    <value>/root/hadoop/var</value>
</property>

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
修改slaves文件

修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/slaves文件，将里面的localhost删除，添加如下内容：

slave1
slave2

只在master中做修改

修改yarn-site.xml文件

修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/yarn-site.xml文件，

在<configuration>节点内加入配置(注意了，内存根据机器配置越大越好，我这里只配2个G是因为机器不行):
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
</property>
<property>
        <description>The address of the applications manager interface in the RM.</description>
        <name>yarn.resourcemanager.address</name>
        <value>${yarn.resourcemanager.hostname}:8032</value>
</property>
<property>
        <description>The address of the scheduler interface.</description>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>${yarn.resourcemanager.hostname}:8030</value>
</property>
<property>
        <description>The http address of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8088</value>
</property>
<property>
        <description>The https adddress of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.https.address</name>
        <value>${yarn.resourcemanager.hostname}:8090</value>
</property>
<property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>${yarn.resourcemanager.hostname}:8031</value>
</property>
<property>
        <description>The address of the RM admin interface.</description>
        <name>yarn.resourcemanager.admin.address</name>
        <value>${yarn.resourcemanager.hostname}:8033</value>
</property>
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>2048</value>
        <discription>每个节点可用内存,单位MB,默认8182MB</discription>
</property>
<property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
</property>
<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
</property>

<property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>
    说明：yarn.nodemanager.vmem-check-enabled这个的意思是忽略虚拟内存的检查，如果你是安装在虚拟机上，这个配置很有用，配上去之后后续操作不容易出问题。如果是实体机上，并且内存够多，可以将这个配置去掉。

然后用 scp命令传到 slave1与slave2中

Hadoop

启动hadoop

在namenode上执行初始化

因为master是namenode，slave1和slave2都是datanode，所以只需要对master进行初始化操作，也就是对hdfs进行格式化。

进入到master这台机器的/opt/hadoop/hadoop-2.8.0/bin目录，也就是执行命令：

cd /opt/hadoop/hadoop-2.8.0/bin

执行初始化脚本，也就是执行命令：

./hadoop namenode -format

如图：

Hadoop

稍等几秒，不报错的话，即可执行成功，如图：

Hadoop

格式化成功后，可以在看到在/root/hadoop/dfs/name/目录多了一个current目录，而且该目录内有一系列文件：

Hadoop

在namenode上执行启动命令

因为master是namenode，slave1和slave2都是datanode，所以只需要再slave2上执行启动命令即可。

进入到master这台机器的/opt/hadoop/hadoop-2.8.0/sbin目录，也就是执行命令：

cd /opt/hadoop/hadoop-2.8.0/sbin

执行初始化脚本，也就是执行命令：

./start-all.sh

第一次执行上面的启动命令，会需要我们进行交互操作，在问答界面上输入yes回车

如图：

Hadoop

关闭防火墙：

systemctl stop firewalld.service

不关闭防火墙的话，web页面访问不了！！！

master是我们的namanode，该机器的IP是192.168.236.132，在本地电脑访问如下地址:

http://192.168.236.132:50070/

自动跳转到了overview页面

如图：

Hadoop

在本地浏览器里访问如下地址：

http://192.168.119.128:8088/

自动跳转到了cluster页面

如图：

Hadoop

Hadoop安装完成！

报错处理

想执行hadoop命令，结果报错：hadoop：未找到命令。

原因是hadoop的安装路径没有加入到当前路径中。解决办法有两个：

一．进入hadoop的安装目录，在执行hadoop命令时在前面加上：./bin ./sbin

二．在/etc/profile文件中添加hadoop的安装路径：

sudo vim /etc/profile

加入：

export HADOOP_HOME=/opt/hadoop/hadoop-2.8.0/
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存后退出。

执行：

source /etc/profile

原文地址：https://blog.csdn.net/qq_43442524/article/details/100077126

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

hadoop day2-搭建
hadoop搭建准备工作三台虚拟机：master、node1、node2检查时间是否同步：date检查java的jdk是否被安装好：java-version修改主机名三台分别执行vim/etc/hostname并将内容指定为对应的主机名 关闭防火墙：systemctlstopfirewalld   a.查看防火墙状态：systemctlstatu
Hadoop 二十三
文件的更名和移动:    获取文件详细信息       遇到的问题：不能直接在web上上传文件。   权限问题：修改后即可正常创建  参考：https://blog.csdn.net/weixin_44575660/article/details/118687993
大数据Hadoop之——HDFS小文件问题与处理实战操作
目录一、背景1）小文件是如何产生的？2）文件块大小设置3）HDFS分块目的二、HDFS小文件问题处理方案1）HadoopArchive（HAR）2）Sequencefile3）CombineFileInputFormat4）开启JVM重用5）合并本地的小文件，上传到HDFS（appendToFile）6）合并HDFS的小文件，下载到本地（getmerge）三、HDFS小文件问题处理实战操
大数据Hadoop之——Hadoop HDFS多目录磁盘扩展与数据平衡实战操作
目录一、概述二、HadoopDataNode多目录磁盘配置1）配置hdfs-site.xml2）配置详解1、dfs.datanode.data.dir2、dfs.datanode.fsdataset.volume.choosing.policy3、dfs.datanode.available-space-volume-choosing-policy.balanced-space-preference-fraction4、dfs.datanode.available
平台搭建伪分布式
平台搭建（伪分布式）伪分布式搭建在VM中搭建std-master修改配置文件centos7-cl1.vmdkstd-master.vmx-将配置文件中vm的版本号改成自己电脑对应的vm版本修改客户端的操作系统为centos764位打开虚拟机修改虚拟机网络cd/etc/sysconfigetwork-scripts
Harley浅谈HadoopHDFS
 一、HDFS概述 1.1、HDFS产出背景及定义 1.1.1、HDFS产生背景   随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式
Hadoop 十二
配置workers进入hadoop/etc/hadoop  编辑workers文件  然后分发给另外两个服务器     准备启动集群第一次需要初始化.  初始化完成后增加了data文件，  进入上面那个路径，就能看到当前服务器的版本号  启动HDFS  启动完毕102  
第六周总结8.13
这周我对ssm框架进行了更深一步的开发，加入了多用户，并对除登录外的请求进行了拦截，这样用户在未登录的时候是访问不到资源的。并且对hadoop进行了初步的学习，包括虚拟机的安装等等。下周会对hadoop进行更深一步的学习，加油！ 
安装Hadoop2.10.1
前言通过在Hadoop1安装Hadoop,然后配置相应的配置文件，最后将Hadoop所有文件同步到其他Hadoop节点。一、集群规划#主机名‘master/hadoop1’‘slave01/hadoop2’‘slave02/hadoop3’#启动节点NamenodeNodemanagerNodemanager
集群崩溃处理
1.先杀死进程（先进入到hadoop版本文件里，我的是/opt/module/hadoop-3.1.3/）sbin/stop-dfs.sh2.删除每个集群上的data以及logsrm-rfdata/logs/3.格式化hdfsnamenode-format4.再启动sbin/sart-dfs.sh
hdfs fsck 命令
查看文件目录的健康信息执行如下的命令：hdfsfsck/user/hadoop-twq/cmd可以查看/user/hadoop-twq/cmd目录的健康信息：其中有一个比较重要的信息，就是Corruptblocks，表示损坏的数据块的数量查看文件中损坏的块(-list-corruptfileblocks)[hadoop-twq@master~]
Hadoop2-8-0的环境搭建
titlecopyrightdatetagscategoriesHadoop2.8.0的环境搭建true2019-08-0912:12:44-0700LiunxHadoopLiunxHadoop此文为在centos7下安装Hadoop集群前期准备Hadoop下载Hadoop的下载本文下载的是2.8.0版本的Hadoop安装3个虚拟机并实现ssh免密码的登录
java – Hadoop：Reduce不产生所需的输出,它与map输出相同
这是我的地图publicstaticclassMapClassextendsMapper<LongWritable,Text,Text,Text>{publicvoidmap(LongWritablekey,Textvalue,Contextcontext)throwsIOException,InterruptedException{String[]fields=value.toString().s
Hadoop_Day01
组件：Hadoop三大核心组件：HDFS（HadoopDistributedFileSystem）：分布式文件系统，数据存放在这里，提供对应用程序数据的高吞吐量访问。YARN（YetAnotherResourceNegotiator）:资源管理调度系统，分配比如硬盘内存等资源。用这些资源来运行程序的计算MapReduce：分布式运算框架
查看Hadoop安全模式
查看Hadoop安全模式hadoopdfsadmin-safemodegetSafemodeisOFF进入Hadoop安全模式root@centos:/$hadoopdfsadmin-safemodeenter SafemodeisON推出安全模式nange@ubuntu:/$hadoopdfsadmin-safemodeleave SafemodeisOFF
sql – Hadoop：创建数据库管理器时出错
当我尝试运行sqoop命令时,我收到错误,说没有连接字符串的管理器我尝试运行的内容：sqoopexport--connect"jdbc:vertica://xxxxxxxx.com:5433/PPS_GIIA"--usernamexxxxx--passwordxxxxx--tableCountry-m1--export-dir/Eservices/SIPOC/SQLimport/part-m-0000--
好程序员大数据学习路线Hadoop学习干货分享
好程序员大数据学习路线Hadoop学习干货分享，ApacheHadoop为可靠的，可扩展的分布式计算开发开源软件。ApacheHadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集（海量的数据）。包括这些模块：HadoopCommon：支持其他Hadoop模块的常用工具。Hadoop
map中的mapreduce – gzip输入文件
我正在使用java,我正在尝试编写一个mapreduce,它将接收一个包含多个gz文件的文件夹.我一直在寻找,但我发现的所有教程都放弃了如何处理简单的文本文件,但没有找到解决我问题的任何东西.我在我的工作场所问过,但只提到scala,我并不熟悉.任何帮助,将不胜感激.解决方法:Hadoop检查
elasticsearch开机自启
linux下开机自启：在/etc/init.d目录下新建文件elasticsearch并敲入shell脚本：#!/bin/sh#chkconfig:23458005#description:elasticsearchexportJAVA_HOME=/home/hadoop/jdk/jdk1.8.0_172exportJAVA_BIN=/home/hadoop/jdk/jdk1.8.0_172/binexportPATH=$PATH:$JAVA_HOME/bi
大数据Hadoop原理01_简介
离线数据处理的主要工具Hive是必须极其熟练地掌握和精通的，但Hive背后是Hadoop的HDFS和M叩Reduce，需要会MapReduce编程么？从笔者的工作实践以及了解来看，这不是必须掌握的，但是数据开发人员必须掌握其概念、架构和工作原理，也就是说，不但要知其然，而且要知其所以然。1.起源
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot