Hadoop3.3.6安装和配置hbase-2.5.5-hadoop3x，zookeeper-3.8.3

分类：HBase作者：叶星痕

文章目录

前置配置

vm设置

image-20231121132727711

image-20231121132942277

虚拟机创建（hadoop1，hadoop2,hadoop3）

image-20231121133408764

在安装过程中推荐设置root用户密码为1234方面后续操作

image-20231121134710174

image-20231121135614905

linux前置配置(三个机器都要设置)

1.设置主机名

以hadoop3为例

hostnamectl set-hostname hadoop3

2.设置固定ip

vim  /etc/sysconfig/network-scripts/ifcfg-ens33

image-20231121142121714

image-20231121142345471

hadoop1 192.168.88.201

hadoop2 192.168.88.202

hadoop3 192.168.88.203

最后执行
service network restart
刷新网卡

3.工具连接(三个机器都要设置)

image-20231121142910144

image-20231121143059081

image-20231121143155954

4.主机映射

windows:

C:\Windows\System32\drivers\etc

修改这个路径下的hosts文件

image-20231121142801076

在这里插入图片描述

推荐使用vscode打开可以修改成功

linux:（三个机器都要设置）
vim /etc/hosts

image-20231121143328804

5.配置SSH免密登录（三个机器都要设置）

root免密
1.在每一台机器都执行：ssh-keygen -trsa -b 4096,一路回车到底即可

image-20231121144137560

2.在每一台机器都执行：
ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3

image-20231121144811918

hadoop免密

创建hadoop用户并配置免密登录

1.在每一台机器执行：useradd hadoop,创建hadoop用户
2.在每一台机器执行：passwd hadoop,设置hadoop用户密码为1234

image-20231121145056481

3.在每一台机器均切换到hadoop用户：su - hadoop,创建ssh密钥

image-20231121145136894

4.在每一台机器均执行
ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3

6.关闭防火墙和SELinux（三个机器都要设置）

1：
systemctl stop firewalld

systemctl disable firewalld

image-20231121145843188

2.
vim /etc/sysconfig/selinux

image-20231121145940957

设置好输入 init 6 重启

image-20231121150154985

3.

以下操作在三台Linux均执行

  1. 安装ntp软件
yum install -y ntp
  1. 更新时区
rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
  1. 同步时间
ntpdate -u ntp.aliyun.com
  1. 开启ntp服务并设置开机自启
systemctl start ntpd

systemctl enable ntpd

image-20231121150445744

三台创建快照1

image-20231121150549502

环境配置

1、jdk1.8 Java Downloads | Oracle

2、hadoop-3.3.6 Apache Hadoop

3、hbase-2.5.5.hadoop3x Index of /dist/hbase/2.5.5 (apache.org)

4、zookeeper-3.8.3 Apache ZooKeeper

重点：以下配置都是在root用户下进行配置后续会给对应的hadoop用户权限

推荐一口气配置完在进行给予权限和进行配置文件的刷新，以及最后的分发

image-20231121212254447

image-20231121212312065

jdk

创建文件夹，用来部署JDK，将JDK和Tomcat都安装部署到：/export/server 内

cd /

mkdir export

cd export

mkdir server

image-20231121151245852

image-20231121151302727

解压缩JDK安装文件

tar -zxvf jdk-8u321-linux-x64.tar.gz -C /export/server

配置JDK的软链接

image-20231121151429701

配置JAVA_HOME环境变量，以及将$JAVA_HOME/bin文件夹加入PATH环境变量中

vim /etc/profile

export JAVA_HOME=/export/server/jdk
export PATH=$PATH: $JAVA_HOME/bin

image-20231121151605561

生效环境变量

source /etc/profile

删除系统自带的java程序

rm -f /usr/bin/java

软链接我们自己的java

ln -s /export/server/jdk/bin/java /usr/bin/java

执行验证

image-20231121152203013

分发

hadoop2,3先创建文件夹

image-20231121152551441

hadoop分发

cd /export/server/

scp -r jdk1.8.0_321/ hadoop2:`pwd`

scp -r jdk1.8.0_321/ hadoop3:`pwd`

cd /etc

scp -r profile hadoop2:`pwd`

scp -r profile hadoop3:`pwd`
hadoop2,3
source /etc/profile

rm -f /usr/bin/java

ln -s /export/server/jdk/bin/java /usr/bin/java

image-20231121153044737

hadoop

上传和解压

image-20231121153212312

cd /export/server

 tar -zxvf hadoop-3.3.6.tar.gz 

ln -s hadoop-3.3.6 hadoop

image-20231121153407521

hadoop配置

worksers
hadoop1

hadoop2

hadoop3

image-20231121180403364

hdfs-site.xml
<property>
<name>dfs.namenode.http-address</name>
<value>0.0.0.0:9870</value>
<description> The address and the base port where the dfs namenode web ui will listen on.
</description>
</property>
<property>
<name>dfs.datanode.data.dir.perm</name>
<value>700</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/nn</value>
</property>
<property>
<name>dfs.namenode.hosts</name>
<value>hadoop1,hadoop2,hadoop3</value>
</property>
<property>
<name>dfs.blocksize</name>
<value>268435456</value>
</property>
<property>
<name>dfs.namenode.handler.count</name>
<value>100</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/dn</value>
</property>
core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:8020</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
hadoop-env.sh
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs
yarn-site.xml
<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop1:19888/jobhistory/logs</value>
    <description></description>
</property>

  <property>
    <name>yarn.web-proxy.address</name>
    <value>hadoop1:8089</value>
    <description>proxy server hostname and port</description>
  </property>


  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>

  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/tmp/logs</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>


<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop1</value>
    <description></description>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    <description></description>
  </property>

  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/nm-local</value>
    <description>Comma-separated list of paths on the local filesystem where intermediate data is written.</description>
  </property>

  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/data/nm-log</value>
    <description>Comma-separated list of paths on the local filesystem where logs are written.</description>
  </property>

  <property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>10800</value>
    <description>Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.</description>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>Shuffle service that needs to be set for Map Reduce applications.</description>
  </property>

<!-- 是否需要开启Timeline服务 -->
<property>
 <name>yarn.timeline-service.enabled</name>
 <value>true</value>
 </property>
 <!-- Timeline Web服务的主机，通过8188端⼝访问 --> 
<property>
 <name>yarn.timeline-service.hostname</name>
 <value>hadoop1</value>
 </property>
 <!-- 设置ResourceManager是否发送指标信息到Timeline服务 -->
 <property>
 <name>yarn.system-metrics-publisher.enabled</name>
 <value>false</value> 
</property>
mapred-site.xml
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description></description>
  </property>

  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop1:10020</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop1:19888</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/data/mr-history/tmp</value>
    <description></description>
  </property>

  <property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/data/mr-history/done</value>
    <description></description>
  </property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>

环境变量配置

vim /etc/profile

export HADOOP_HOME=/export/server/hadoop 

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

image-20231121181112189

分发hadoop到 主机2，3

发送hadoop
cd /export/server/

scp -r hadoop-3.3.6/ hadoop2:`pwd`

scp -r hadoop-3.3.6/ hadoop3:`pwd`
发送环境变量
cd /etc

scp -r profile hadoop2:`pwd`

scp -r profile hadoop2:`pwd`
其他设置

hadoop2,3分别创建软连接

cd /export/server/

 ln -s hadoop-3.3.6/ hadoop

image-20231121181531945

刷新环境变量
source /etc/peorfile

hadoop version

hadoop权限配置

主机 123 都执行： 以 root 权限 给 hadoop 用户配置相关权限

mkdir -p /data/nn

mkdir -p /data/dn

chown -R hadoop:hadoop /data

chown -R hadoop:hadoop /export

image-20231121182023323

创建快照2

格式化与启动

1.切换用户hadoop
 su - hadoop
2.进行格式化
hdfs namenode -format
3.启动!!!

一键启动：

start-all.sh

分开启动：

start-dfs.sh

start-yarn.sh

image-20231121182526993

查看网页

image-20231121182615520

image-20231121182705807

zookeeper

上传与解压

image-20231121183335903

 cd /export/server/

tar -zxvf apache-zookeeper-3.9.1-bin.tar.gz 

ln -s apache-zookeeper-3.9.1-bin zookeeper

rm -rf apache-zookeeper-3.9.1-bin.tar.gz

image-20231121183507133

配置

cd /export/server/zookeeper/conf/

cp zoo_sample.cfg zoo.cfg

//修改 zoo.cfg 配置文件，将 dataDir=/data/zookeeper/data 修改为指定的data目录

vim zoo.cfg

dataDir=/export/server/zookeeper/zkData

server.2=hadoop1:2888:3888
server.1=hadoop2:2888:3888
server.3=hadoop3:2888:3888

在这里插入图片描述

cd .. 

mkdir zkData

vim myid

image-20231121184247217

在这里插入图片描述

分发和环境变量

环境变量
vim /etc/profile

export ZOOKEEPER_HOME=/export/server/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

image-20231121184618318

分发
cd /etc

scp -r profile hadoop2:`pwd`

scp -r profile hadoop3:`pwd`

cd /export/server/

scp -r  apache-zookeeper-3.9.1-bin/ hadoop2:`pwd`

scp -r  apache-zookeeper-3.9.1-bin/ hadoop3:`pwd`

hadoop2,3创建软连接

ln -s apache-zookeeper-3.9.1-bin/ zookeeper
hadoop2,3修改内容
cd /export/server/zookeeper/zkData/

image-20231121185801789


hadoop1 修改为2
hadoop2 修改为1
hadoop3 修改为3

image-20231121185841879

刷新配置文件
source /etc/profile

重新给权限

chown -R hadoop:hadoop /export

启动（三个机器都执行）

su - hadoop

bin/zkServer.sh start

查看状态

bin/zkServer.sh status

image-20231121185954614

hbase

上传和解压

image-20231121190418511

tar -zxvf hbase-2.5.5-hadoop3-bin.tar.gz 

ln -s hbase-2.5.5-hadoop3 hbase

rm -rf hbase-2.5.5-hadoop3-bin.tar.gz

image-20231121190538986

配置

cd /export/server/hbase/conf/

mkdir -p /data/hbase/logs
hbase-env.sh
export JAVA_HOME=/export/server/jdk
export HBASE_MANAGES_ZK=false
regionservers

image-20231121190902482

backup-master

vim backup-master

在这里插入图片描述

hbase-site.xml
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>hadoop1,hadoop3</value>
  </property>
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://hadoop1:8020/hbase</value>
  </property>

<property>
  <name>hbase.wal.provider</name>
  <value>filesystem</value>
</property>

分发和权限以及环境变量

环境变量
vim /etc/profile

export HBASE_HOME=/export/server/hbase

export PATH=$PATH:$HBASE_HOME/bin

image-20231121191830835

分发
cd /export

scp -r hbase-2.5.5-hadoop3/ hadoop2:`pwd`

scp -r hbase-2.5.5-hadoop3/ hadoop3:`pwd`

hadoop2,3分别创建软连接

ln -s hbase-2.5.5-hadoop2/ hbase

ln -s hbase-2.5.5-hadoop3/ hbase

cd /etc

scp -r profile hadoop2:`pwd`

scp -r profile hadoop3:`pwd`

source  /etc/proflie
权限（都执行）
chown -R hadoop:hadoop /export

chown -R hadoop:hadoop /data

启动

su - hadoop

start-hbase

image-20231121205723619

image-20231121205704724

原文地址：https://blog.csdn.net/xinglu20/article/details/134541792

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

在HBase集群中开启Thrift服务
文章浏览阅读301次。你可以使用Thrift客户端来测试HBase Thrift服务。例如，在Python中，你可以使用。请确保你的HBase伪集群已正确配置并且Thrift服务已经启动。这将在你的伪集群中启动HBase Thrift服务。库或者直接使用Thrift接口。进入HBase的安装目录，找到。请根据需要进行相应的配置。这将停止Thrift服务。_hbase 单机 thrift 配置
hive和hbase数据迁移
文章浏览阅读565次。hive和hbase数据迁移_hive转hbase
HBase2.4.13单机环境搭建
文章浏览阅读707次。基于单机版安装HBase，前置条件为Hadoop安装完成，安装Hadoop可以参考链接，Hadoop单机安装。地址：https://dlcdn.apache.org/hbase/2.4.13/hbase-2.4.13-src.tar.gz2.解压缩文件3.进入到conf目录下4.修改配置文件 hbase-env.sh示例：示例：6.修改配置文件 hbase-site.xml示例：8.访问页面访问你所以在服务器的16010端口，查看页面以上就是单机版安装HBase的内容，后续_hbase 2.4.13下载
5-linux集群搭建-HBase
文章浏览阅读301次。linux集群搭建-HBase_linux中在/home目录下创建目录hbase
Hbase--02
文章浏览阅读933次。中没有库的概念，说一个数据说的是哪一个名称空间下的那一张表下的哪一个行键的哪一个列族下面的哪一个列对应的是这个数据。注意：put数据需要指定往哪个命名空间的哪个表的哪个rowKey的哪个列族的哪个列中put数据，put的值是什么。注意：put数据需要指定往哪个命名空间的哪个表的哪个rowKey的哪个列族的哪个列中put数据，put的值是什么。注意：put数据需要指定往哪个命名空间的哪个表的哪个rowKey的哪个列族的哪个列中put数据，put的值是什么。操作Hbase系统DDL，对名称空间等进行操作。_hbase中报错undefined method for main:object
HBase监控方法以及核心指标
文章浏览阅读1k次，点赞16次，收藏21次。整理和梳理日常hbase的监控核心指标，作为经验沉淀_hbase 对应promethus指标名
大数据小白初探Hbase从零到入门
文章浏览阅读1.5k次，点赞45次，收藏20次。今天把之前学习Hbase的入门基础知识笔记翻出来了，为了不忘记也是帮助身边的小伙伴，我把他又整理了下放了出来给大家，希望对HBASE一知半解的小伙伴，能够对Hbase有一个清晰的认识，好了废话不多说，进入正题。以上内容就是初的识HBase 入门知识，包含了hbase的由来，特性，物理存储，逻辑存储模型，以及优缺点，应用场景这些内容，相信后面在使用或更深入的研究Hbase打下了良好的基础，后面的更深入的学习内容，看计划安排在后面的文章中进行更新。
在大数据相关技术中，HBase是个分布的、面向列的开源数据库，是一个适合于非结构化数据存储的数据库。
文章浏览阅读655次。HDFS，适合运行在通用硬件上的分布式文件系统，是一个高度容错性的系统，适合部署在廉价的机器上。Hbase，是一个分布式的、面向列的开源数据库，适合于非结构化数据存储。MapReduce，一种编程模型，方便编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。Chukwa，是一个开源的用于监控大型分布式系统的数据收集系统。_开源非结构化数据存储
mongodb和hbase的区别和应用场景
文章浏览阅读1.9k次。mongodb和hbase的区别和应用场景_hbase和mongodb的区别
Hbase入门篇01---基本概念和部署教程
文章浏览阅读1.2k次。Hbase入门篇01---基本概念和部署教程_hbase教程
HBase相关面试准备问题
文章浏览阅读1.6k次，点赞19次，收藏25次。hbase相关内容
hbase2.x hbck2处理region方案（长期opening\closing\offline,Report Region Holes,report Unkown server）等
文章浏览阅读942次，点赞16次，收藏20次。在hbase1.x中transition是令广大大数据运维人员头疼的一个话题，因为，region 的状态转移涉及到了三个核心组件，分别为：hbase master，zookeeper和hbase 的regionserver，这三个组件中的某一个region的状态都是一致的情况下，这个region 才算是正常，状态转移过程及其复杂，hbase 集群很容易出现RIT。好消息是，hbase2.x中有个工具HBCK2，这个工具可不是简单的hbase1.x中hbck 的升级，变化有点大，详细变化请参考帮助文档（
hbase相关操作
文章浏览阅读1k次。在HBase中，Region分裂是一种自动的机制，用于在Region大小达到一定阈值时将其分裂成两个Region，以便更好地管理数据。HBase中的Region大小是可以配置的，通过设置HBase表的最小和最大Region大小来控制。需要注意的是，禁止Region分裂后，当表的大小达到一定阈值时，数据将不再分裂成新的Region，因此需要根据实际需求进行调整。需要注意的是，禁止Region分裂后，当表的大小达到一定阈值时，数据将不再分裂成新的Region，因此需要根据实际需求进行调整。_hbase region大小
HBase在数据仓库中的应用
文章浏览阅读737次。可以看出，HBase作为数据仓库的一种补充，可以用于存储和管理大量数据，以便快速地分析和查询。是一种基于数据库的形式，用于存储和管理大量数据，以便快速地分析和查询。例如，可以使用HBase存储一些用户行为数据，然后进行分析，以便更好地了解用户行为和需求。其次，需要配置HBase相关的环境变量，例如JAVA_HOME、HBASE_HOME等。HBase可以用于存储结构化和非结构化数据，包括文本、图像、视频等。例如，可以使用HBase存储一些传感器数据，然后进行实时分析和处理。一、HBase集群环境搭建。_用hbase 搭建数仓
Springboot整合HBase
文章浏览阅读1.9k次。Data。_springboot整合hbase
记录一次线上Hbase2.1.0版本RegionServer节点无故挂掉，且无日志输出
文章浏览阅读880次，点赞23次，收藏20次。etc/abrt下的两个文件，分别是：abrt-action-save-package-data.conf 和 abrt.conf，修改内容如下。我们后面排查的时候去查看/run/cloudera-scm-agent/process/2325-hbase-REGIONSERVER下是否有。发现有个hs_err_pid15967.log JVM生成的错误日志，那么把这个日志下载查看，返现日志这么写的。接下来就等下一次hbase的节点挂了之后查看转储文件，转储文件在/var/sqool/abrt下。_regionserver 退出 没有错误日志
Hbase Shell基本操作
文章浏览阅读1.7k次。以下命令都需要在Hbase Shell中运行：Hbase信息status：服务器状态version：版本表操作查看所有表：list表基本信息：describe "表名称"查看表是否存在：exists '表名称'创建表：create '表名称', '列族1', '列族2', '列族3'删除表：首先禁用表：disable '表名称'然后删除表：drop '表名称'修改表：表数据操作查看所有数据：scan "表名称"..._hbase sehll怎么看登录的是哪个hbase
在HBase中执行查询操作通常使用HBase Shell或编程语言API（如Java或Python）来执行
文章浏览阅读885次，点赞18次，收藏21次。在HBase中执行查询操作通常使用HBase Shell或编程语言API（如Java或Python）来执行。使用编程语言API，您可以使用相应的HBase客户端库来执行查询操作。这是一个简单的Java代码示例，演示了如何使用HBase Java API进行单行查询。这些示例仅为基本查询操作，HBase Shell还提供其他高级查询功能，如按时间戳过滤，使用正则表达式进行查询等。请注意，这只是HBase查询的基本示例，您可以根据实际需求和HBase的数据模型进行更复杂的查询操作。
ERROR: KeeperErrorCode = NoNode for /hbase/master
文章浏览阅读7.3k次，点赞7次，收藏28次。找到hbase的bin目录并进入，执行启动hbase hmaster命令。问题原因 hmaster挂了 ，需要重新启动hmaster才行。hbase shell输入命令出现如下问题。_keepererrorcode = nonode for /hbase/master
大数据技术原理与应用笔记
文章浏览阅读1.3k次。三次信息化浪潮。_大数据应用开发技术笔记
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot