安装Hadoop2.10.1

分类：Hadoop作者：编程之家用户

前言
通过在Hadoop1安装Hadoop,然后配置相应的配置文件，最后将Hadoop 所有文件同步到其他Hadoop节点。

一、集群规划
#主机名
‘master/hadoop1’ ‘slave01/hadoop2’ ‘slave02/hadoop3’

#启动节点
Namenode Nodemanager Nodemanager
Resourcemanager Datanode Datanode
Secondarynamenode
二、安装JDK
1、三个节点都需要按照下面步骤安装JDK环境。

执行java-version查看JDK是否已经安装，如果已经安装了，可以跳过这一步骤，进入环境部署环节。

java -version # which Java是无法定位到Java的安装路径的，只能定位到执行路径
2、下载安装包后，将JDK安装包复制到/usr/lib/jvm/

sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel #通过此命令安装 OpenJDK，默认安装位置为 /usr/lib/jvm/

rpm -ql java-1.8.0-openjdk-devel | grep '/bin/javac' #检验路径，输出结果除去路径末尾的 “/bin/javac”，剩下的就是正确的路径了
3、配置相应环境变量(hadoop1-3都要)

拓展：设置Linux环境变量的方法和区别

vim /etc/profile

#在文件末尾加入

#JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk #java安装地址
export PATH=$PATH:$JAVA_HOME/bin

source ~/.bashrc # 使变量设置生效

echo $JAVA_HOME # 检验变量值
java -version
$JAVA_HOME/bin/java -version #与直接执行 java -version 一样，一起执行作对比
配置静态ip 和 联网
为VMware的多台虚拟机配置静态ip 和联网_慕诡的博客-CSDN博客

三、安装Hadoop
下载安装Hadoop2.10.1
cd ~

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz #下载

tar -zxf hadoop-2.10.1.tar.gz -C /usr/local # 解压到/usr/local中

cd /usr/local/

sudo mv ./hadoop-2.10.1/ ./hadoop # 将文件夹名改为hadoop
sudo chown -R hadoop:hadoop ./hadoop # 修改文件权限

ls ./hadoop
Hadoop配置
1、配置主节点环境
1）配置core-site.xml文件

vim /usr/local/hadoop/etc/hadoop/core-site.xml #修改xml文件用 gedit 比较方便,但在Xshell连接时用不了
<configuration>
<property>
<!--定义Hadoop HDFS中 namenode 的URI和端口【必须配置】-->
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:9000</value>
</property>
<property>
<!--Hadoop运行时产生临时的存储目录【必须配置】-->
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/data/tmp</value>
</property>

</configuration>
2）配置hdfs-site.xml文件

vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<!--指定DataNode存储block的副本数量,不大于DataNode的个数就行，默认为3【必 须】-->
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<!--namenode节点元数据存储目录【必须配置】-->
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/hdfs/name</value>
</property>
<property>
<!--datanode 真正的数据存储目录【必须配置】-->
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/hdfs/data</value>
</property>

<property>
<!--指定SecondaryNamenode的工作目录【必须配置】-->
<name>dfs.namenode.checkpoint.dir</name>
<value>file:/usr/local/hadoop/dfs/namesecondary</value>
</property>
<property>
<!--指定Hadoop辅助名称节点主机配置 -->
<!--指定SecondaryNamenode的http协议访问地址【必须配置】-->
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop2:9001</value>
</property>
<property>
<!--必须设置为true，否则就不能通过web访问hdfs上的文件信息【必须配置】-->
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

</configuration>

3）配置workers文件

vim /usr/local/hadoop/etc/hadoop/slaves #修改为3个主机名称

# hadoop-3.3.0版本文件名为workers , hadoop-2.x.x版本文件名为slaves
hadoop1
hadoop2
hadoop3
4）配置mapred-site.xml文件

默认情况下/usr/local/hadoop/etc/hadoop/文件夹下有mapred.xml.template文件，复制一下该文件，并重命名为mapred.xml，该文件用于指定MapReduce使用的框架。

cp mapred-site.xml.template mapred-site.xml

vim /usr/local/hadoop/etc/hadoop/mapred-site.xml
<configuration>
<property>
<!-- 指定MR运行框架：运行在Yarn上 -->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce application.classpath</name>
<value>
/usr/local/hadoop/etc/hadoop,
/usr/local/hadoop/share/hadoop/common/*,
/usr/local/hadoop/share/hadoop/common/lib/*,
/usr/local/hadoop/share/hadoop/hdfs/*,
/usr/local/hadoop/share/hadoop/hdfs/lib/*,
/usr/local/hadoop/share/hadoop/mapreduce/*,
/usr/local/hadoop/share/hadoop/mapreduce/lib/*,
/usr/local/hadoop/share/hadoop/yarn/*,
/usr/local/hadoop/share/hadoop/yarn/ib/*
</value>
</property>
</configuration>

5）配置yarn-site.xml文件

vim /usr/local/hadoop/etc/hadoop/yarn-site.xml
6）配置Hadoop-env.sh文件

vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk #java安装地址

# 配置完刷新一下
source /usr/local/hadoop/etc/hadoop/hadoop-env.sh
7）因hadoop版本不同，hadoop-3.x.x下可能出现错误，hadoop-2.x.x下启动正常（可跳过）

配置./start-yarn.sh文件，在首部添加

vim /usr/local/hadoop/sbin/start-yarn.sh

# Personal Add

export YARN_RESOURCEMANAGER_USER=root
export HADOOP_SECURE_DN_USER=root
export YARN_NODEMANAGER_USER=root
配置./stop-yarn.sh文件，在首部添加

vim /usr/local/hadoop/sbin/stop-yarn.sh

# Personal Add

export YARN_RESOURCEMANAGER_USER=root
export HADOOP_SECURE_DN_USER=root
export YARN_NODEMANAGER_USER=root
配置./start-dfs.sh文件，在首部添加

vim /usr/local/hadoop/sbin/start-dfs.sh

# Personal Add

export HDFS_NAMENODE_SECURE_USER=root
export HDFS_DATANODE_SECURE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
配置./stop-dfs.sh文件，在首部添加

vim /usr/local/hadoop/sbin/stop-dfs.sh

# Personal Add

export HDFS_NAMENODE_SECURE_USER=root
export HDFS_DATANODE_SECURE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
2、配置从节点环境
将以上配置好的Hadoop文件包打包并同步到其他Hadoop节点。

#方法1：打包发送后解压
cd /home
sudo tar -czvf hadoop.tar.gz /usr/local/hadoop #打包文件

scp -r hadoop.tar.gz arlene@hadoop2:/usr/local/
scp -r hadoop.tar.gz arlene3@hadoop3:/usr/local/

# 如果传输压缩包,需各节点解压
sudo tar -zxvf /usr/local/hadoop.tar.gz -C /usr/local
# 方法2：直接传输文件夹
cd /home

#将hadoop1主节点下/usr/local目录下的hadoop文件夹分别拷贝到hadoop2和hadoop3节点的/usr/local/目录下
sudo scp -r /usr/local/hadoop root@hadoop2:/usr/local/
sudo scp -r /usr/local/hadoop root@hadoop3:/usr/local/


# 传输命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称
# scp命令：scp 本地文件 远程用户@远程ip:远程用户文件夹
# scp定义：可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)
3、配置profile文件
vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

source /etc/profile
# 方法一:各节点均编辑/etc/profile文件
# 方法二:远程同步，将hadoop1主节点上的配置文件分别拷贝到hadoop2和hadoop3节点

rsync -rvl /etc/profile root@hadoop2:/etc/profile
rsync -rvl /etc/profile root@hadoop3:/etc/profile

tail /etc/profile #显示已修改的配置文件(/etc/profile)内容，查看是否同步成功
source /etc/profile #立即生效
javadoc #测试
hadoop #测试

cat /usr/local/hadoop/etc/hadoop/slaves #查看workers/slaves文件内容是否一致
4、格式化(仅一次)
在Hadoop1节点格式化NameNode，格式化成功如图.（只在Hadoop1启动就好）

hdfs namenode -format #或者进入hadoop用户文件用./bin/hdfs namenode -format


5、启动集群
【注】：启动集群和关闭集群顺序是相反的，启动时先hadoop1，关闭时后hadoop1

cd /usr/local/hadoop/sbin/

start-dfs.sh

#等hadoop1主节点下start-dfs.sh命令执行结束后，再执行命令start-yarn.sh
start-yarn.sh

#检查
jps

————————————————
版权声明：本文为CSDN博主「慕诡」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/forest_black/article/details/124354961

搜索

复制

原文地址：https://www.cnblogs.com/stdxxd/p/16549090.html

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

hadoop day2-搭建
hadoop搭建准备工作三台虚拟机：master、node1、node2检查时间是否同步：date检查java的jdk是否被安装好：java-version修改主机名三台分别执行vim/etc/hostname并将内容指定为对应的主机名 关闭防火墙：systemctlstopfirewalld   a.查看防火墙状态：systemctlstatu
Hadoop 二十三
文件的更名和移动:    获取文件详细信息       遇到的问题：不能直接在web上上传文件。   权限问题：修改后即可正常创建  参考：https://blog.csdn.net/weixin_44575660/article/details/118687993
大数据Hadoop之——HDFS小文件问题与处理实战操作
目录一、背景1）小文件是如何产生的？2）文件块大小设置3）HDFS分块目的二、HDFS小文件问题处理方案1）HadoopArchive（HAR）2）Sequencefile3）CombineFileInputFormat4）开启JVM重用5）合并本地的小文件，上传到HDFS（appendToFile）6）合并HDFS的小文件，下载到本地（getmerge）三、HDFS小文件问题处理实战操
大数据Hadoop之——Hadoop HDFS多目录磁盘扩展与数据平衡实战操作
目录一、概述二、HadoopDataNode多目录磁盘配置1）配置hdfs-site.xml2）配置详解1、dfs.datanode.data.dir2、dfs.datanode.fsdataset.volume.choosing.policy3、dfs.datanode.available-space-volume-choosing-policy.balanced-space-preference-fraction4、dfs.datanode.available
平台搭建伪分布式
平台搭建（伪分布式）伪分布式搭建在VM中搭建std-master修改配置文件centos7-cl1.vmdkstd-master.vmx-将配置文件中vm的版本号改成自己电脑对应的vm版本修改客户端的操作系统为centos764位打开虚拟机修改虚拟机网络cd/etc/sysconfigetwork-scripts
Harley浅谈HadoopHDFS
 一、HDFS概述 1.1、HDFS产出背景及定义 1.1.1、HDFS产生背景   随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式
Hadoop 十二
配置workers进入hadoop/etc/hadoop  编辑workers文件  然后分发给另外两个服务器     准备启动集群第一次需要初始化.  初始化完成后增加了data文件，  进入上面那个路径，就能看到当前服务器的版本号  启动HDFS  启动完毕102  
第六周总结8.13
这周我对ssm框架进行了更深一步的开发，加入了多用户，并对除登录外的请求进行了拦截，这样用户在未登录的时候是访问不到资源的。并且对hadoop进行了初步的学习，包括虚拟机的安装等等。下周会对hadoop进行更深一步的学习，加油！ 
安装Hadoop2.10.1
前言通过在Hadoop1安装Hadoop,然后配置相应的配置文件，最后将Hadoop所有文件同步到其他Hadoop节点。一、集群规划#主机名‘master/hadoop1’‘slave01/hadoop2’‘slave02/hadoop3’#启动节点NamenodeNodemanagerNodemanager
集群崩溃处理
1.先杀死进程（先进入到hadoop版本文件里，我的是/opt/module/hadoop-3.1.3/）sbin/stop-dfs.sh2.删除每个集群上的data以及logsrm-rfdata/logs/3.格式化hdfsnamenode-format4.再启动sbin/sart-dfs.sh
hdfs fsck 命令
查看文件目录的健康信息执行如下的命令：hdfsfsck/user/hadoop-twq/cmd可以查看/user/hadoop-twq/cmd目录的健康信息：其中有一个比较重要的信息，就是Corruptblocks，表示损坏的数据块的数量查看文件中损坏的块(-list-corruptfileblocks)[hadoop-twq@master~]
Hadoop2-8-0的环境搭建
titlecopyrightdatetagscategoriesHadoop2.8.0的环境搭建true2019-08-0912:12:44-0700LiunxHadoopLiunxHadoop此文为在centos7下安装Hadoop集群前期准备Hadoop下载Hadoop的下载本文下载的是2.8.0版本的Hadoop安装3个虚拟机并实现ssh免密码的登录
java – Hadoop：Reduce不产生所需的输出,它与map输出相同
这是我的地图publicstaticclassMapClassextendsMapper<LongWritable,Text,Text,Text>{publicvoidmap(LongWritablekey,Textvalue,Contextcontext)throwsIOException,InterruptedException{String[]fields=value.toString().s
Hadoop_Day01
组件：Hadoop三大核心组件：HDFS（HadoopDistributedFileSystem）：分布式文件系统，数据存放在这里，提供对应用程序数据的高吞吐量访问。YARN（YetAnotherResourceNegotiator）:资源管理调度系统，分配比如硬盘内存等资源。用这些资源来运行程序的计算MapReduce：分布式运算框架
查看Hadoop安全模式
查看Hadoop安全模式hadoopdfsadmin-safemodegetSafemodeisOFF进入Hadoop安全模式root@centos:/$hadoopdfsadmin-safemodeenter SafemodeisON推出安全模式nange@ubuntu:/$hadoopdfsadmin-safemodeleave SafemodeisOFF
sql – Hadoop：创建数据库管理器时出错
当我尝试运行sqoop命令时,我收到错误,说没有连接字符串的管理器我尝试运行的内容：sqoopexport--connect"jdbc:vertica://xxxxxxxx.com:5433/PPS_GIIA"--usernamexxxxx--passwordxxxxx--tableCountry-m1--export-dir/Eservices/SIPOC/SQLimport/part-m-0000--
好程序员大数据学习路线Hadoop学习干货分享
好程序员大数据学习路线Hadoop学习干货分享，ApacheHadoop为可靠的，可扩展的分布式计算开发开源软件。ApacheHadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集（海量的数据）。包括这些模块：HadoopCommon：支持其他Hadoop模块的常用工具。Hadoop
map中的mapreduce – gzip输入文件
我正在使用java,我正在尝试编写一个mapreduce,它将接收一个包含多个gz文件的文件夹.我一直在寻找,但我发现的所有教程都放弃了如何处理简单的文本文件,但没有找到解决我问题的任何东西.我在我的工作场所问过,但只提到scala,我并不熟悉.任何帮助,将不胜感激.解决方法:Hadoop检查
elasticsearch开机自启
linux下开机自启：在/etc/init.d目录下新建文件elasticsearch并敲入shell脚本：#!/bin/sh#chkconfig:23458005#description:elasticsearchexportJAVA_HOME=/home/hadoop/jdk/jdk1.8.0_172exportJAVA_BIN=/home/hadoop/jdk/jdk1.8.0_172/binexportPATH=$PATH:$JAVA_HOME/bi
大数据Hadoop原理01_简介
离线数据处理的主要工具Hive是必须极其熟练地掌握和精通的，但Hive背后是Hadoop的HDFS和M叩Reduce，需要会MapReduce编程么？从笔者的工作实践以及了解来看，这不是必须掌握的，但是数据开发人员必须掌握其概念、架构和工作原理，也就是说，不但要知其然，而且要知其所以然。1.起源
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot