目录
Cloudera’s Distribution Including Apache Hadoop介绍和背景
前言
因为面试受挫,因此起了杀心,不是起了玩大数据的心思;但是巧妇难为无米之炊,因此自己在win10+32RAM的基础上搭建一个大数据集群,此文章只为记录,各位看官有问题及时沟通。
Cloudera’s Distribution Including Apache Hadoop介绍和背景
Cloudera’s Distribution Including Apache Hadoop介绍和背景的话,姥爷们请www.baidu.com就可以出来了,不信您试试.
安装包准备
安装包(cdh7.8-6.2.1+mysql5.6+jdbc+jdk1.8)我已经打包好一份儿,很安全,很便利的;
链接:https://pan.baidu.com/s/1KNGg-UJQEZb58VKZ31acIQ 提取码:didp
虚拟机器准备
个人建议可以在一个虚拟机上配置一些共性属性,然后使用VM进行完整克隆就可以了,省事儿;综上,在hadoop1上配置:hostname, hosts, jdk,IP,防火墙,IPv6,SELlinux,THP,swappiness,NTP,时区和系统语言后可以克隆了;
安装包上传/下载使用winscp,舒坦;
安装
hostname+JDK+IP+hosts+防火墙+免密登录方法:https://blog.csdn.net/weixin_40039499/article/details/88682571
禁用IPv6:
vi etc/sysconfig/network insert: NETWORKING_IPV6=no vi /etc/sysctl.conf insert: net.ipv6.conf.all.disable_ipv6=1 vi /etc/sysconfig/network-scripts/ifcfg-eno**** replace: IPV6INIT=no
关闭SELinux:
检查SELinux状态 # getenforce 输出是enforcing,则继续以下步骤,否则进行下一步 # vi /etc/sysconfig/selinux 修改SELINUX=enforcing 为 SELINUX=permissive 修改完成后,重启或是执行以下命令立即关闭SELinux # setenforce 0
关闭THP:
首先检查THP的启用状态: cat /sys/kernel/mm/transparent_hugepage/defrag [always] madvise never cat /sys/kernel/mm/transparent_hugepage/enabled [always] madvise never 输出如上则是启用的。 修改 # vi /etc/rc.local 在最后添加如下内容: echo never > /sys/kernel/mm/transparent_hugepage/enabled echo never > /sys/kernel/mm/transparent_hugepage/defrag 修改完成后,赋予rc.local文件执行权限 # chmod +x /etc/rc.local 重启后检查是否生效
修改swappiness(内存越大,值越小):
Swappiness是swap与内存的比例,centos7的默认值是60 临时修改 # sysctl -w vm.swappiness=10 永久修改 # echo "vm.swappiness=10" >> /etc/sysctl.conf
配置NTP:
安装NTP yum install ntp vi /etc/ntp.conf 在主节点上 # vi /etc/ntp.conf 注释掉原来的server 0.centos.pool.ntp.org.iburst 注释掉原来的server 1.centos.pool.ntp.org.iburst 注释掉原来的server 2.centos.pool.ntp.org.iburst 注释掉原来的server 3.centos.pool.ntp.org.iburst 插入: restrict 192.168.*.* nomodify notrap nopeer noquery restrict 192.168.*.2 mask 255.255.255.0 nomodify notrap server 127.127.1.0 fudge 127.127.1.0 stratum 10 在其他节点上 # vi /etc/ntp.conf 注释掉原来的server 0.centos.pool.ntp.org.iburst 注释掉原来的server 1.centos.pool.ntp.org.iburst 注释掉原来的server 2.centos.pool.ntp.org.iburst 注释掉原来的server 3.centos.pool.ntp.org.iburst 插入: server hadoop1 fudge hadoop1 stratum 10 在所有节点上 启动ntp服务 systemctl start ntpd 设置开机启动ntp服务 systemctl enable ntpd 验证ntp服务是否开启 ntpq -p 验证时间是否同步 ntpstat 同步应显示: synchronised balabalabalabala 未同步则显示: unsynchronised balabalabalabala 同步比较慢,服务器动手,抽个烟,喝个茶再来看吧
修改时区和系统语言,这里直接附代码:
查看时区 # timedatectl 修改时区 # cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 查看OS系统语言 # echo $LANG 修改OS系统语言 # vi /etc/profile 在最后添加 export LANG=” en_US.UTF-8”
个人建议可以在一个虚拟机上配置一些共性属性,然后使用VM进行完整克隆就可以了,省事儿;综上,在hadoop1上配置:hostname, hosts, jdk,IP,防火墙,IPv6,SELlinux,THP,swappiness,NTP,时区和系统语言后可以克隆了;对hadoop2, hadoop3进行hostname,IP修改就好了
*****************************************************以下操作全是在hadoop1上********************************
在hadoop1上安装Mysql: https://blog.csdn.net/weixin_40039499/article/details/88837548
将mysql-connector-java-5.1.46.jar包重命名为:mysql-connector-java.ja放置在每一个节点的:/usr/share/java/下
为CDH创建metadata库:
创建数据库及用户(root用户在mysql命令行下执行) CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm'; CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'amon'; CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'rman'; CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'hue'; CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive'; CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry'; CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY 'nav'; CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY 'navms'; CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';
设置yum本地源(联网):
安装: yum install httpd 启动: service httpd start 开机启动: chkconfig httpd on 测试http是否成功 在ie中输入地址http://192.168.131.129/
将CDH安装文件放置在相应目录: /var/www/html/cm /var/www/html/cdh
在浏览器中输入地址 http://192.168.131.129/cm/ 可以访问文件就OK
在 /var/www/html/cm中执行createrepo命令创建本地仓库
# 安装createrepo命令 yum install createrepo # 在cm目录下执行命令 createrepo . # 如果不想使用本地仓库,可以删除一下文件 cd /etc/yum.repo/ # rm -rf 自建的repo文件 如:rm -rf cm.repo
制作cm的repo源:
vim /etc/yum.repos.d/cm.repo insert: [cmrepo] name = cm_repo baseurl = http://hadoop1/cm enable = true gpgcheck = false 完成后执行:yum repolist 目的是查看创建仓库是否成功;在返回的列表中找到创建的仓库即可; 看到successful, 恭喜你 下一步va
yum repolist返回结果如图:
安装CM: yum install cloudera-manager-daemons cloudera-manager-server -y
配置CM的metadata: ./opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm scm
如果配置过程中报错:
1. 将jdbc.jar拷贝到/usr/share/java/目录下,执行上面的命令
2. 使用root登录mysql数据库将user为null的数据删除,重启数据库,执行上面的命令
启动cm服务
# sudo systemctl start cloudera-scm-server
等待几分钟,为了观察启动进程,可以执行以下命令
# sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
出现以下内容时:INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server. 启动成功
浏览器访问:http://192.168.131.129:7180 默认账号为 admin / admin
Cloudera Manager使用
安装CDH:
tips:AUTO-TLS,集群加密访问,也就是https,这里跳过,点击继续
查找主机时输入:hadoop[1-3],就可以查到3台机器了
选择存储库时:自定义存储库输入地址:http://hadoop1/cm
CDH and other software 根据建议选择更过选项:配置远程URL:http://hadoop1/cdh 其他连接点减号去掉就行
oracle JDK的跳过直接进行下一步
提供SSH登陆凭据:输入密码就可以
然后就会安装agent 和 Parcel了 趁这会去撩妹吧
傻瓜式选择,干就完了;
好了撩妹结束,不对是安装结束,选择需要的大数据组件安装就行了,人家会有推荐的套餐,很合理的,安装就行了;
有警告的话,忽略,有问题,百度,好了去试试吧
结语:
我爱的人,不是我的爱人
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。