CentOS7.3下安装Cloudera Manager5.11.1

分类：CentOS作者：编程之家用户
  • 概述
  • 准备条件
  • 系统环境配置
  • 安装Java
  • 安装MySQL
  • 安装CM
  • CM配置
  • Q&A
  • 参考

概述

最近公司需要研究大数据方向的内容，经初步讨论，决定使用CDH版本
的Hadoop，使用Cloudera生态下的Cloudera Manager平台。CDH(Cloudera’s Distribution,
including Apache Hadoop),是Hadoop分支中的一种，由Cloudera
维护，基于稳定版本的Apache hadoop构建，并继承了许多补丁，可以直接用于生产环境。

Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关
的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大
简化。

准备条件

本文环境是在虚拟机上搭建的分布式环境。
- 硬件：
- 主节点 Intel Core i5-4200H,12G,80G 从节点Intel Core i5-5200u,40G*2
- 软件:
- 操作系统 ： CentOS7.3 GNOME DESTOP + development tools组包
- java : 这里使用的是jdk-8u131-linux-x64.rpm
- mysql : 这里使用的是mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar以及mysql-connector-java-5.1.42-bin.jar
- Cloudera Manager
- 下载地址 : https://archive.cloudera.com/cm5/cm/5/
- 这里下载的是 ： https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.11.1_x86_64.tar.gz
- CDH安装包
- 下载地址 ： http://archive.cloudera.com/cdh5/parcels
- 这里用的是 ：CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel和CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha1

注意对应的版本号，CentOS7对应的是el7

系统环境配置

  • 首先修改各台机器上的主机名,如本人设置为linuxvnode0,linuxvnode1,linuxvnode2。
# hostnamectl set-hostname linuxvnode0
  • 修改主机名与IP的对应关系，向所有服务器配置/etc/hosts文件，向其中添加行
# vim /etc/hosts
192.168.8.96 linuxvnode0
192.168.8.97 linuxvnode1
192.168.8.98 linuxvnode2
  • 配置SSH无秘钥登录服务,注意每台机器上都要配置
# ssh-keygen -t rsa
# ssh-copy-id linuxvnode0
# ssh-copy-id linuxvnode1
# ssh-copy-id linuxvnode2
  • 所有服务器均创建安装用户：cloudera
# groupadd cloudera
# useradd -g cloudera cloudera
# echo "*********" | passwd --stdin cloudera
  • 所有服务器为cloudera用户配置sudo权限
# chmod u+w /etc/sudoers
# echo "cloudera ALL=(root)NOPASSWD:ALL" >> /etc/sudoers
# chmod u-w /etc/sudoers
  • 所有服务器关闭防火墙和Selinux服务
关闭防火墙
# systemctl mask firewalld.service
关闭Selinux
# sed -i '/SELINUX=enforcing/d' /etc/selinux/config
# sed -i '/SELINUX=disabled/d' /etc/selinux/config
# echo "SELINUX=disabled" >> /etc/selinux/config
重启后生效。
  • 所有服务器设置文件打开数量及最大进程数
cp /etc/security/limits.conf /etc/security/limits.conf.bak
# echo "* soft nproc 32000" >>/etc/security/limits.conf
# echo "* hard nproc 32000" >>/etc/security/limits.conf
# echo "* soft nofile 65535" >>/etc/security/limits.conf
# echo "* hard nofile 65535" >>/etc/security/limits.conf
  • 配置集群时间同步服务：通过ntp服务配置
ntp主节点配置：
# cp /etc/ntp.conf /etc/ntp.conf.bak
# cp /etc/sysconfig/ntpd /etc/sysconfig/ntpd.bak
# echo "restrict 192.168.100.0 mask 255.255.255.0 nomodify notrap" >> /etc/ntp.conf
# echo "SYNC_HWCLOCK=yes" >> /etc/sysconfig/ntpd
# service ntpd restart

ntp从节点配置
创建shell脚本内容如下：
# vim /opt/scripts/sync_time.sh
# /sbin/service ntpd stop
# /usr/sbin/ntpdate linuxvnode0
# /sbin/service ntpd start
赋权
# chmod 777 sync_time.sh
建立定时任务
# crontab -e
输入如下一行内容，保存退出：
0-59/10 * * * * /opt/scripts/sync_time.sh

安装Java

每台服务器需要安装相同版本的Java。这里采用的是rpm方式安装Java.

  • CentOS7自带了OpenJDK,但并不适用Cloudera Manager,所以首先检查安装的Java,卸载自带的OpenJDK。
[root@localhost ~]# rpm -qa | grep java
[root@localhost ~]# rpm -qa | grep java
tzdata-java-2014i-1.el7.noarch
java-1.7.0-openjdk-headless-1.7.0.71 -2.5.3.1 .el7_0.x86_64
java-1.7.0-openjdk-1.7.0.71 -2.5.3.1 .el7_0.x86_64
java-1.8.0-openjdk-headless-1.7.0.71 -2.5.3.1 .el7_0.x86_64
java-1.8.0-openjdk-1.7.0.71 -2.5.3.1 .el7_0.x86_64
删除上面的java包
# rpm -e --nodeps $PACKGENAME
  • 安装Oracle JDK
# rpm -ivh jdk-8u131-linux-x64.rpm Java默认安装在/usr/java/目录下
  • 配置Java环境变量，在/etc/profile后添加：
# vim /etc/profile
JAVA_HOME=/usr/java/jdk1.8.0_131
JRE_HOME=/usr/java/jdk1.8.0_131/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH
  • 使环境变量生效
# source /etc/profile


建议手动指定一下java的使用版本，避免在安装Spark组件时报错
alternatives –config java

安装MySQL

这里使用的是mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar安装，解压缩后会有Mysql相应的rpm文件，
我们只需要依次安装一下几个rpm即可。
mysql-community-common-5.7.18-1.el7.x86_64.rpm
mysql-community-libs-5.7.18-1.el7.x86_64.rpm
mysql-community-client-5.7.18-1.el7.x86_64.rpm
mysql-community-server-5.7.18-1.el7.x86_64.rpm
1. 和安装Java一样，首先需要检查是否已经安装了MySQL。

# rpm -qa|grep mysql 如果有的话请先卸载

然后再依次安装上述的rpm文件，因为它们存在相互依赖。
2. 安装完毕后启用mysql服务。

# systemctl start mysqld
# systemctl status mysqld


3. 这种方式完成安装MySQL后，会自动随机生成一个原始密码。登录并修改密码，否则报密码过期错误。

# cat /var/log/mysqld.log | grep password
2017-05-13T05:39:44.497086Z 1 [Note] A temporary password is generated for root@linuxvnode0: sjsO:Pin<5c_
使用上述密码登录MySQL
# mysql -uroot -p
Enter password:
登录成功后：
mysql> SET PASSWORD = PASSWORD('**********');
Query OK,0 rows affected,1 warning (0.00 sec)


注意此处密码设置必须用强密码，否则安装CM时报密码过期错误。


4. 设置root授权访问以上所有的数据库,因为CM安装时会创建数据库，这里设置后安装CM时可以设置数据库的host为linuxvnode0

mysql>grant all privileges on *.* to 'root'@'linuxvnode0' identified by '****' with grant option;
mysql>flush privileges;


5. 由于本人需要安装hive做为数据仓库，同时使用了Mysql作为Hive的存储方式，所以这里单独为hive建立一个库。

#为hive建库hive
mysql>create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;


个人感觉此处必须得新建一个库与CM安装时建立的库分开，否则启动Hive时会报角色无法启动的错误。

安装Cloudera Manager


1. 来到了重头戏了，首先主节点上解压相应的文件cloudera-manager-centos7-cm5.11.1_x86_64.tar.gz
到/opt/目录下。

# tar -zxvf cloudera-manager-centos7-cm5.11.1_x86_64.tar.gz -C /opt/


2. 将mysql-connector-java-5.1.42-bin.jar放到/opt/cm-5.11.1/share/cmf/lib下并初始化数据库

# cp mysql-connector-java-5.1.42-bin.jar /opt/cm-5.11.1/share/cmf/lib
/opt/cm-5.11.1/share/cmf/schema/scm_prepare_database.sh [-数据库类型] [-创建的数据库名] [-h主机名] [-u用户名] [-p密码]
# /opt/cm-5.11.1/share/cmf/schema/scm_prepare_database.sh mysql cm5111 -hlinuxvnode0 -uroot -p****** --scm-host linuxvnode0 scm scm scm


3. 配置agent：修改/opt/cm-5.11.1/etc/cloudera-scm-agent/config.ini文件修改server_host为主节点主机名。

4. 每台服务器上执行命令创建scm用户

# useradd --system --home=/opt/cm-5.11.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm


5. 将Agent同步到其他节点

# scp -r /opt/cm-5.11.1 linuxvnode1:/opt
# scp -r /opt/cm-5.11.1 linuxvnode2:/opt


6. 将parcels安装包放置到/opt/cloudera/parcel-repo目录下。
7. 执行相应的脚本，启动服务。

主节点启动 ：
# /opt/cm-5.11.1/etc/init.d/cloudera-scm-server start
所有节点启动 ：
# /opt/cm-5.11.1/etc/init.d/cloudera-scm-agent start


8. 启动成功后输入 linuxvnode0:7180即可进入Cloudera Manager运维平台界面,初始密码为 admin/admin.
(可能CM启动较久，需要一点时间才能进入) 进入后按照提示即可安装集群以及相应组件。

如若安装hive组件且使用Mysql类型的数据仓库，那么需要为hive增加MySQL connector
cp mysql-connector-java-5.1.42-bin.jar /opt/cloudera/parcels/CDH/lib/hive/lib/mysql-connector-java-5.1.42-bin.jar

CM配置

由于机器集群已经安装好，下面借用了参考地址中的图片说明CM的配置。
1. 一开始是进入登录界面，输入admin/admin即可登录。

2. 选择部署的版本。

可以看到，现在的免费版本没有节点个数的限制了。
3. 继续下一步，选择安装的CM的版本。


4. 当各个Agent节点正常启动后，会展示每个节点的安装情况。耐心等待安装完即可。

5. 安装检查中可能提示以下问题

解决方法如下：

# sysctl -w vm.swappiness=10
# echo "vm.swappiness=10" >>/etc/sysctl.conf
# echo never > /sys/kernel/mm/transparent_hugepage/defrag
# echo never > /sys/kernel/mm/transparent_hugepage/enabled
然后在每个节点中加入启动脚本：
# vim /etc/rc.local

6. 选择你需要安装的服务即可。

建议第一步安装zookeeper服务，第二步按照hdfs服务，第三步安装yarn服务，以后可以安装需要定制的服务(hive,hbase,spark,flume等)

Q&A


  • Hive
    1. version information not found.
界面内hive->配置中
hive.metastore.schema.verification 设置为false 去掉勾选。

参考

https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_install_path_c.html
http://www.cnblogs.com/codedevelop/p/6762555.html
http://www.cnblogs.com/wcwen1990/p/6841118.html?utm_source=itdadao&utm_medium=referral

ps:第一次用Markdown写的，略酸爽。

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

elasticsearch 开机自启
linux下开机自启： 在/etc/init.d目录下新建文件elasticsearch 并敲入shell脚本： 注意， 前两行必须填写，且要注释掉。 第一行为shell前行代码，目的告诉系统使用shell。 第二行分别代表运行级别、启动优先权、关闭优先权，且后面添加开机服务会用到。 shell脚本
centos7 开机自动执行脚本
1、因为在centos7中/etc/rc.d/rc.local的权限被降低了，所以需要赋予其可执行权 chmod +x /etc/rc.d/rc.local 2、赋予脚本可执行权限假设/usr/local/script/autostart.sh是你的脚本路径，给予执行权限 chmod +x /usr
centos 目录磁盘使用情况
最简单的查看方法可以使用ls -ll、ls-lh命令进行查看，当使用ls -ll，会显示成字节大小，而ls- lh会以KB、MB等为单位进行显示，这样比较直观一些。 通过命令du -h –max-depth=1 *，可以查看当前目录下各文件、文件夹的大小，这个比较实用。 查询当前目录总大小可以使用d
centos7 守护进程
ASP.NET Core应用程序发布linux在shell中运行是正常的。可一但shell关闭网站也就关闭了，所以要配置守护进程， 用的是Supervisor，本文主要记录配置的过程和过程遇到的问题 安装Supervisor&#160;1 yum install python-setuptools
Centos 同步时间
设置时区（CentOS 7） 先执行命令timedatectl status|grep &#39;Time zone&#39;查看当前时区，如果不是时区（Asia/Shanghai），则需要先设置为中国时区，否则时区不同会存在时差。 #已经是Asia/Shanghai，则无需设置 [root@xia
Centos 固定ip
vim&#160;/etc/sysconfig/network-scripts/ifcfg-eth0 BOOTPROTO=&quot;static&quot; ONBOOT=yes IPADDR=192.168.8.106 NETMASK=255.255.252.0 GATEWAY=192.168.
centos7 安装redis
一、安装gcc依赖 由于 redis 是用 C 语言开发，安装之前必先确认是否安装 gcc 环境（gcc -v），如果没有安装，执行以下命令进行安装 [root@localhost local]# yum install -y gcc 二、下载并解压安装包 [root@localhost local
netcore linux ffmpeg 首帧图
第一步 On CentOS/RHEL 6.*: $ sudo rpm -Uvh http://li.nux.ro/download/nux/dextop/el6/x86_64/nux-dextop-release-0-2.el6.nux.noarch.rpm On CentOS/RHEL 7: $
netcore 图片缩略图
/// &lt;summary&gt; /// 取小写文件名后缀 /// &lt;/summary&gt; /// &lt;param name=&quot;name&quot;&gt;文件名&lt;/param&gt; /// &lt;returns&gt;返回小写后缀，不带“.”&lt;/ret
.net core 与ELK（4）后台运行els可视化工具和Kibana
which nohup .bash_profile中并source加载 如果没有就安装吧 yum provides */nohup nohup npm run start &amp; nohup ./kibana &amp;
Centos安装mysql57
1.1 MySQL安装 1.1.1 下载wget命令 yum -y install wget 1.1.2 在线下载mysql安装包 wget https://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm 1.1.3 安装My
CentOS 系统管理与yum软件仓库搭建
重启 reboot shutdown -r now init 6 关闭 init 0 shutdown -h now shutdown -h 20：25 #8点25关机查看内存 free CPU利用率 top 日期 date 设置时间 date 033017002015 #月日时间年 日历 cal
CentOS 防火墙
1、firewalld的基本使用 启动： systemctl start firewalld 关闭： systemctl stop firewalld 查看状态： systemctl status firewalld 开机禁用 ： systemctl disable firewalld 开机启用 ：
Centos 查找命令路径
which docker
centos7 安装mysql5.7
1 下载并安装MySQL官方的&#160;Yum Repository wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm 使用上面的命令就直接下载了安装用的Yum Repository，大概
CentOS6/7 配置守护进程
CentOS6.x CentOS6中转用Upstrat代替以前的init.d/rcX.d的线性启动方式。 一、相关命令 通过initctl help可以查看相关命令 [root@localhost ~]# initctl help Job commands: start Start job. sto
centos 磁盘满
1、使用命令：df -lk 找到已满磁盘 2、使用命令：du --max-depth=1 -h 查找大文件，删除
CentOS 网络操作
ifconfig：查看网卡信息 网卡配置文件位置： /etc/sysconfig/network-scripts/文件夹 nmtui：配置网卡 netstat -tlunp：查看端口信息 端口信息存储位置： /etc/services文件 route：查看路由信息 wget：下载网路文件，例如 wg
CentOS 进程操作
ps -ef：查看所有进程，&#160;ps -ef |grap firewalld 查看与firewalld相关的进程 which ：查看进程：which firewalld kill 进程id：杀掉进程 kill 640，强制杀：kill -9 640 man：查看帮助，例如 man ps 查看
CentOS 用户/组与权限
useradd：添加用户 useradd abc，默认添加一个abc组 vipw：查看系统中用户 groupadd：添加组groupadd ccna vigr：查看系统中的组 gpasswd：将用户abc添加到ccna组 gpasswd -a abc ccna groups abc：查看用户abc属
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot