记录一次线上Hbase2.1.0版本RegionServer节点无故挂掉，且无日志输出

分类：HBase作者：yzw_ai_sx
记录一次线上 Hbase2.1.0 版本 RegionServer
节点无故挂掉，且无日志输出
环境
问题描述
Hbase上线大半年一直稳定运行，最近发现每天都会有RgionServer节点无故挂点，从日志可以看到
Hbase重启但是后面无任何日志输出。观察到CDH页面上该节点已经下线。
问题解决思路
第一步：查看系统日志
翻遍hbase各种日志均无任何报错信息，那么我们怀疑是不是系统把这个节点给kill掉了呢。接下来我们
查看了系统日志。查看/var/log/message发现问题所在了。
jdk: Oracle jdk-1.8_181
os: CentOS Linux release 7.4.1708 (Core)
hbase: 2.1.0-cdh6.3.0发现hbase的RegionServer的进程ID在刚刚重启的时候就被kill。signal 6 是内存非法操作
由于之前我们将系统生成abrt关闭，所以我们需要修改两个文件，并重启abrt服务，文件所在->
/etc/abrt下的两个文件，分别是：abrt-action-save-package-data.conf 和 abrt.conf，修改内容如下
重启服务
接下来就等下一次hbase的节点挂了之后查看转储文件，转储文件在/var/sqool/abrt下。
第二步 查看转储文件内容
首先要知道转储文件怎么查看,coredump文件。自行百度即可（gbd）
0x00007f475d052860应该有内存非法操作的嫌疑，由于动态链接库没有补全成功目前排查卡到这个上
面了。
看到打印的内容都是和 JDK 相关的我们做了一次尝试，升级个别节点 RG 的 JDK 版本，运行尝试后发现没
有，节点还是会挂。
abrt-action-save-package-data.conf
#OpenGPGCheck = no
#ProcessUnpackaged = yes
abrt.conf
#MaxCrashReportsSize = 0
systemctl restart abrtd 第三步 查看转储文件无果后的排查（重点）
我们后面排查的时候去查看/run/cloudera-scm-agent/process/2325-hbase-REGIONSERVER下是否有
东西
发现有个hs_err_pid15967.log JVM生成的错误日志，那么把这个日志下载查看，返现日志这么写的。
里面的地址和排查转储文件下的出问题的地址完全一致，那么我们可以从这个错误日志下手去解决问
题。接下来把里面的部分内容粘贴出来。
Current thread (0x00007f4758820800): JavaThread "AsyncFSWAL-0" daemon
[_thread_in_Java,id=17396,stack(0x00007f36f0aa3000,0x00007f36f0ae4000)]
siginfo: si_signo: 11 (SIGSEGV),si_code: 1 (SEGV_MAPERR),si_addr:
0x00007f36bc3dd93a
Stack: [0x00007f36f0aa3000,0x00007f36f0ae4000],sp=0x00007f36f0ae2310,free
space=252k
Native frames: (J=compiled Java code,j=interpreted,Vv=VM code,C=native code)
v ~StubRoutines::jshort_disjoint_arraycopy
J 13350 C2
org.apache.hadoop.hbase.regionserver.wal.AsyncProtobufLogWriter$OutputStreamWrap
per.write(Ljava/nio/ByteBuffer;II)V (34 bytes) @ 0x00007f475f113fd1
[0x00007f475f113cc0+0x311]
J 16839 C2
org.apache.hadoop.hbase.ByteBufferKeyValue.write(Ljava/io/OutputStream;Z)I (21
bytes) @ 0x00007f475f4329dc [0x00007f475f432960+0x7c]J 12594 C2
org.apache.hadoop.hbase.regionserver.wal.WALCellCodec$EnsureKvEncoder.write(Lorg
/apache/hadoop/hbase/Cell;)V (27 bytes) @ 0x00007f475ef80414
[0x00007f475ef7fc20+0x7f4]
J 13967 C2
org.apache.hadoop.hbase.regionserver.wal.AsyncProtobufLogWriter.append(Lorg/apac
he/hadoop/hbase/wal/WAL$Entry;)V (137 bytes) @ 0x00007f475eb66d68
[0x00007f475eb662c0+0xaa8]
J 16309 C2
org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL.append(Lorg/apache/hadoop
/hbase/wal/WALProvider$WriterBase;Lorg/apache/hadoop/hbase/regionserver/wal/FSWA
LEntry;)Z (219 bytes) @ 0x00007f475f88c3d0 [0x00007f475f88c140+0x290]
J 17900 C2 org.apache.hadoop.hbase.regionserver.wal.AsyncFSWAL.appendAndSync()V
(225 bytes) @ 0x00007f475f08c5ac [0x00007f475f08c4a0+0x10c]
J 20933 C2 org.apache.hadoop.hbase.regionserver.wal.AsyncFSWAL.consume()V (474
bytes) @ 0x00007f476024e4c8 [0x00007f476024e2c0+0x208]
J 15973 C2 org.apache.hadoop.hbase.regionserver.wal.AsyncFSWAL$$Lambda$57.run()V
(8 bytes) @ 0x00007f475e3d868c [0x00007f475e3d8660+0x2c]
J 16450% C2
java.util.concurrent.ThreadPoolExecutor.runWorker(Ljava/util/concurrent/ThreadPo
olExecutor$Worker;)V (225 bytes) @ 0x00007f475e4d3308 [0x00007f475e4d2e80+0x488]
j java.util.concurrent.ThreadPoolExecutor$Worker.run()V+5
j java.lang.Thread.run()V+11
v ~StubRoutines::call_stub
V [libjvm.so+0x697a76] JavaCalls::call_helper(JavaValue*,methodHandle*,
JavaCallArguments*,Thread*)+0x1056
V [libjvm.so+0x697f81] JavaCalls::call_virtual(JavaValue*,KlassHandle,
Symbol*,Symbol*,JavaCallArguments*,Thread*)+0x321
V [libjvm.so+0x698427] JavaCalls::call_virtual(JavaValue*,Handle,
KlassHandle,Thread*)+0x47
V [libjvm.so+0x71789e] thread_entry(JavaThread*,Thread*)+0x7e
V [libjvm.so+0xa813f3] JavaThread::thread_main_inner()+0x103
V [libjvm.so+0xa8153c] JavaThread::run()+0x11c
V [libjvm.so+0x930198] java_start(Thread*)+0x108
C [libpthread.so.0+0x7e25] start_thread+0xc5
VM Arguments:
jvm_args: -Dproc_regionserver -XX:OnOutOfMemoryError=kill -9 %p -
Djava.net.preferIPv4Stack=true -Xms33285996544 -Xmx33285996544 -Xmx64g -Xms32g -
Xmn6g -Xss256k -XX:MaxPermSize=384m -XX:SurvivorRatio=6 -XX:+UseParNewGC -
XX:ParallelGCThreads=10 -XX:+UseConcMarkSweepGC -XX:ParallelCMSThreads=16 -
XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -
XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -
XX:CMSMaxAbortablePrecleanTime=500 -XX:CMSFullGCsBeforeCompaction=5 -
XX:+CMSClassUnloadingEnabled -XX:+HeapDumpOnOutOfMemoryError -
XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/log/tmp/hbase/hbase_hbase
REGIONSERVER-58f025f30c5505722d8dee21c92b9469_pid15967.hprof -
XX:OnOutOfMemoryError=/opt/cloudera/cm-agent/service/common/killparent.sh -
Dhbase.log.dir=/log/hbase -Dhbase.log.file=hbase-cmf-hbase-REGIONSERVER
.log.out -Dhbase.home.dir=/opt/cloudera/parcels/CDH-6.3.0-
1.cdh6.3.0.p0.1279813/lib/hbase -Dhbase.id.str= -Dhbase.root.logger=INFO,RFA -
Djava.library.path=/opt/cloudera/parcels/CDH-6.3.0-
1.cdh6.3.0.p0.1279813/lib/hadoop/lib/native:/opt/cloudera/parcels/CDH-6.3.0-
1.cdh6.3.0.p0.1279813/lib/hbase/lib/native/Linux-amd64-64 -
Dhbase.security.logger=INFO,RFAS
java_command: org.apache.hadoop.hbase.regionserver.HRegionServer start查看日志发现异步WAL问题，AsyncFSWAL-0。于是我们上hbase提了issues并对比了一个和我们类似的
问题，如下：
https://issues.apache.org/jira/browse/HBASE-25628
https://issues.apache.org/jira/browse/HBASE-22539
建议感兴趣的把这个issues看一下
根据上面22539大佬的问题解决，目前得到：用了NettyRpcServer，directByteBuffer被提早释放了，
在刷盘的时候用了已经释放的DBB（directByteBuffer）导致内存访问越界。
我们这边目标把异步WAL改成默认的进行测试。
目前为止没有发现节点再有挂的情况。

 

 

 

原文地址：https://blog.csdn.net/yzw_ai_sx/article/details/135337325

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

在HBase集群中开启Thrift服务
文章浏览阅读301次。你可以使用Thrift客户端来测试HBase Thrift服务。例如，在Python中，你可以使用。请确保你的HBase伪集群已正确配置并且Thrift服务已经启动。这将在你的伪集群中启动HBase Thrift服务。库或者直接使用Thrift接口。进入HBase的安装目录，找到。请根据需要进行相应的配置。这将停止Thrift服务。_hbase 单机 thrift 配置
hive和hbase数据迁移
文章浏览阅读565次。hive和hbase数据迁移_hive转hbase
HBase2.4.13单机环境搭建
文章浏览阅读707次。基于单机版安装HBase，前置条件为Hadoop安装完成，安装Hadoop可以参考链接，Hadoop单机安装。地址：https://dlcdn.apache.org/hbase/2.4.13/hbase-2.4.13-src.tar.gz2.解压缩文件3.进入到conf目录下4.修改配置文件 hbase-env.sh示例：示例：6.修改配置文件 hbase-site.xml示例：8.访问页面访问你所以在服务器的16010端口，查看页面以上就是单机版安装HBase的内容，后续_hbase 2.4.13下载
5-linux集群搭建-HBase
文章浏览阅读301次。linux集群搭建-HBase_linux中在/home目录下创建目录hbase
Hbase--02
文章浏览阅读933次。中没有库的概念，说一个数据说的是哪一个名称空间下的那一张表下的哪一个行键的哪一个列族下面的哪一个列对应的是这个数据。注意：put数据需要指定往哪个命名空间的哪个表的哪个rowKey的哪个列族的哪个列中put数据，put的值是什么。注意：put数据需要指定往哪个命名空间的哪个表的哪个rowKey的哪个列族的哪个列中put数据，put的值是什么。注意：put数据需要指定往哪个命名空间的哪个表的哪个rowKey的哪个列族的哪个列中put数据，put的值是什么。操作Hbase系统DDL，对名称空间等进行操作。_hbase中报错undefined method for main:object
HBase监控方法以及核心指标
文章浏览阅读1k次，点赞16次，收藏21次。整理和梳理日常hbase的监控核心指标，作为经验沉淀_hbase 对应promethus指标名
大数据小白初探Hbase从零到入门
文章浏览阅读1.5k次，点赞45次，收藏20次。今天把之前学习Hbase的入门基础知识笔记翻出来了，为了不忘记也是帮助身边的小伙伴，我把他又整理了下放了出来给大家，希望对HBASE一知半解的小伙伴，能够对Hbase有一个清晰的认识，好了废话不多说，进入正题。以上内容就是初的识HBase 入门知识，包含了hbase的由来，特性，物理存储，逻辑存储模型，以及优缺点，应用场景这些内容，相信后面在使用或更深入的研究Hbase打下了良好的基础，后面的更深入的学习内容，看计划安排在后面的文章中进行更新。
在大数据相关技术中，HBase是个分布的、面向列的开源数据库，是一个适合于非结构化数据存储的数据库。
文章浏览阅读655次。HDFS，适合运行在通用硬件上的分布式文件系统，是一个高度容错性的系统，适合部署在廉价的机器上。Hbase，是一个分布式的、面向列的开源数据库，适合于非结构化数据存储。MapReduce，一种编程模型，方便编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。Chukwa，是一个开源的用于监控大型分布式系统的数据收集系统。_开源非结构化数据存储
mongodb和hbase的区别和应用场景
文章浏览阅读1.9k次。mongodb和hbase的区别和应用场景_hbase和mongodb的区别
Hbase入门篇01---基本概念和部署教程
文章浏览阅读1.2k次。Hbase入门篇01---基本概念和部署教程_hbase教程
HBase相关面试准备问题
文章浏览阅读1.6k次，点赞19次，收藏25次。hbase相关内容
hbase2.x hbck2处理region方案（长期opening\closing\offline,Report Region Holes,report Unkown server）等
文章浏览阅读942次，点赞16次，收藏20次。在hbase1.x中transition是令广大大数据运维人员头疼的一个话题，因为，region 的状态转移涉及到了三个核心组件，分别为：hbase master，zookeeper和hbase 的regionserver，这三个组件中的某一个region的状态都是一致的情况下，这个region 才算是正常，状态转移过程及其复杂，hbase 集群很容易出现RIT。好消息是，hbase2.x中有个工具HBCK2，这个工具可不是简单的hbase1.x中hbck 的升级，变化有点大，详细变化请参考帮助文档（
hbase相关操作
文章浏览阅读1k次。在HBase中，Region分裂是一种自动的机制，用于在Region大小达到一定阈值时将其分裂成两个Region，以便更好地管理数据。HBase中的Region大小是可以配置的，通过设置HBase表的最小和最大Region大小来控制。需要注意的是，禁止Region分裂后，当表的大小达到一定阈值时，数据将不再分裂成新的Region，因此需要根据实际需求进行调整。需要注意的是，禁止Region分裂后，当表的大小达到一定阈值时，数据将不再分裂成新的Region，因此需要根据实际需求进行调整。_hbase region大小
HBase在数据仓库中的应用
文章浏览阅读737次。可以看出，HBase作为数据仓库的一种补充，可以用于存储和管理大量数据，以便快速地分析和查询。是一种基于数据库的形式，用于存储和管理大量数据，以便快速地分析和查询。例如，可以使用HBase存储一些用户行为数据，然后进行分析，以便更好地了解用户行为和需求。其次，需要配置HBase相关的环境变量，例如JAVA_HOME、HBASE_HOME等。HBase可以用于存储结构化和非结构化数据，包括文本、图像、视频等。例如，可以使用HBase存储一些传感器数据，然后进行实时分析和处理。一、HBase集群环境搭建。_用hbase 搭建数仓
Springboot整合HBase
文章浏览阅读1.9k次。Data。_springboot整合hbase
记录一次线上Hbase2.1.0版本RegionServer节点无故挂掉，且无日志输出
文章浏览阅读880次，点赞23次，收藏20次。etc/abrt下的两个文件，分别是：abrt-action-save-package-data.conf 和 abrt.conf，修改内容如下。我们后面排查的时候去查看/run/cloudera-scm-agent/process/2325-hbase-REGIONSERVER下是否有。发现有个hs_err_pid15967.log JVM生成的错误日志，那么把这个日志下载查看，返现日志这么写的。接下来就等下一次hbase的节点挂了之后查看转储文件，转储文件在/var/sqool/abrt下。_regionserver 退出 没有错误日志
Hbase Shell基本操作
文章浏览阅读1.7k次。以下命令都需要在Hbase Shell中运行：Hbase信息status：服务器状态version：版本表操作查看所有表：list表基本信息：describe "表名称"查看表是否存在：exists '表名称'创建表：create '表名称', '列族1', '列族2', '列族3'删除表：首先禁用表：disable '表名称'然后删除表：drop '表名称'修改表：表数据操作查看所有数据：scan "表名称"..._hbase sehll怎么看登录的是哪个hbase
在HBase中执行查询操作通常使用HBase Shell或编程语言API（如Java或Python）来执行
文章浏览阅读885次，点赞18次，收藏21次。在HBase中执行查询操作通常使用HBase Shell或编程语言API（如Java或Python）来执行。使用编程语言API，您可以使用相应的HBase客户端库来执行查询操作。这是一个简单的Java代码示例，演示了如何使用HBase Java API进行单行查询。这些示例仅为基本查询操作，HBase Shell还提供其他高级查询功能，如按时间戳过滤，使用正则表达式进行查询等。请注意，这只是HBase查询的基本示例，您可以根据实际需求和HBase的数据模型进行更复杂的查询操作。
ERROR: KeeperErrorCode = NoNode for /hbase/master
文章浏览阅读7.3k次，点赞7次，收藏28次。找到hbase的bin目录并进入，执行启动hbase hmaster命令。问题原因 hmaster挂了 ，需要重新启动hmaster才行。hbase shell输入命令出现如下问题。_keepererrorcode = nonode for /hbase/master
大数据技术原理与应用笔记
文章浏览阅读1.3k次。三次信息化浪潮。_大数据应用开发技术笔记
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot