2.环境搭建-CentOS集群搭建

目录

本文主要介绍在 Windows 宿主机上使用 VirtualBox 搭建三节点 CentOS 集群实验环境。

实验环境

  • Windows 宿主机:Windows 10 企业版
  • VirtualBox 版本:VirtualBox 5.1.10
  • CentOS 版本:CentOS 6.4
  • Xshell 版本:Xshell 5

*本实验项目所需软件均可在百度网盘链接:http://pan.baidu.com/s/1dFeNR6h 密码:1zx4 中获取。

创建虚拟机

使用VirtualBox创建三台CentOS作为项目实验集群。


点击“新建”按钮开始创建虚拟机。


填写虚拟机名称,选择类型为“Linux”,版本为“Red Hat(32-bit)”


内存根据自己实际情况,尽可能选择大些。


选择目录和磁盘大小,目录位置后续会占用大量磁盘空间,根据自己磁盘实际情况选择。
虚拟硬盘大小数值尽量设置大些,避免后续虚拟硬盘不足情况,实际占用本地硬盘会根据实际数量进行分配。


创建好虚拟机后在“设置”中设置“网络”连接方式为“桥接网卡”,并且在“界面名称”中根据实际使用的网卡进行选择(一般会自动匹配)。


在“存储”中选择磁盘镜像

安装CentOS


点击“启动”按钮,开始安装CentOS


选择“skip”


选择“yes,discard any data”


设置hostname


选择shanghai时区


设置root密码


如果密码较弱会弹出“Weak Password”提示,选择“Use Anyway”


选择“Write change to disk”


点击“Reboot”重启系统。


使用root用户和root密码登陆

设置ip

获取动态ip

vi /etc/sysconfig/network-script/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=dhcp
service network restart

此时查看ip

ifconfig

设置静态ip

vi /etc/sysconfig/network-script/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.102
NETMASK=255.255.255.0
GATEWAY=192.168.1.1

IPADDR为之前动态ip分配的,GATEWAY根据自己情况填写

重启网卡

service network restart

测试网络

配置hosts

vi /etc/hosts

配置宿主机(Windows主机)上的hosts
在C:\Windows\System32\drivers\etc\hosts文件末尾添加

#sparkproject
192.168.1.102 sparkproject1

使用Xshell连接虚拟机


可选择“记住用户名”和“记住密码”选项,以后可以直接登陆

关闭防火墙

service iptables stop
service ip6tables stop
service iptables status
service ip6tables status

chkconfig iptables off
chkconfig ip6tablesoff

修改配置文件

vi /etc/selinux/config
SELINUX=disabled

安装jdk

删除/usr/local/目录下的所有文件

安装lrzsz传输工具

yum install lrzsz

传输jdk文件到/usr/local目录下

rz

安装jdk

rpm -ivh jdk-7u65-linux-i586.rpm

配置jdk相关的环境变量

vi ~/.bashrc
export JAVA_HOME=/usr/java/latest
export PATH=$PATH:$JAVA_HOME/bin

使配置生效

source ~/.bashrc

测试jdk安装是否成功

java -version

删除网络配置文件

rm -f /etc/udev/rules.d/70-persistent-net.rules

安装三节点虚拟机

克隆或相同的方式再安装两台一模一样的虚拟机,hostname分别设置为sparkproject2和sparkproject3。

为避免出错,而且只是三节点,没有使用克隆,而是手动安装。

配置集群Ssh免密码登陆

在各节点hosts中添加三台虚拟机的ip

Ping测试,三个节点能相互ping通

在三台机器上配置对本机的ssh免密码登录

ssh-keygen -t rsa

生成本机的公钥,过程中不断敲回车即可

将公钥复制为authorized_keys文件,此时使用ssh连接本机就不需要输入密码了

cd /root/.ssh
cp id_rsa.pub authorized_keys

其他三个节点同样执行上述操作

配置三台机器互相之间的ssh免密码登录

ssh-copy-id -i sparkproject2

提示输入密码时输入相应节点的密码

测试,无需输入密码能够登陆成功即为设置成功

然后在各节点上执行相应的操作

至此,三节点CentOS集群即搭建成功,后续会此基础上安装hadoop、zookeepr、kafka、flume和spak等集群。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


linux下开机自启: 在/etc/init.d目录下新建文件elasticsearch 并敲入shell脚本: 注意, 前两行必须填写,且要注释掉。 第一行为shell前行代码,目的告诉系统使用shell。 第二行分别代表运行级别、启动优先权、关闭优先权,且后面添加开机服务会用到。 shell脚本
1、因为在centos7中/etc/rc.d/rc.local的权限被降低了,所以需要赋予其可执行权 chmod +x /etc/rc.d/rc.local 2、赋予脚本可执行权限假设/usr/local/script/autostart.sh是你的脚本路径,给予执行权限 chmod +x /usr
最简单的查看方法可以使用ls -ll、ls-lh命令进行查看,当使用ls -ll,会显示成字节大小,而ls- lh会以KB、MB等为单位进行显示,这样比较直观一些。 通过命令du -h –max-depth=1 *,可以查看当前目录下各文件、文件夹的大小,这个比较实用。 查询当前目录总大小可以使用d
ASP.NET Core应用程序发布linux在shell中运行是正常的。可一但shell关闭网站也就关闭了,所以要配置守护进程, 用的是Supervisor,本文主要记录配置的过程和过程遇到的问题 安装Supervisor 1 yum install python-setuptools
设置时区(CentOS 7) 先执行命令timedatectl status|grep 'Time zone'查看当前时区,如果不是时区(Asia/Shanghai),则需要先设置为中国时区,否则时区不同会存在时差。 #已经是Asia/Shanghai,则无需设置 [root@xia
vim /etc/sysconfig/network-scripts/ifcfg-eth0 BOOTPROTO="static" ONBOOT=yes IPADDR=192.168.8.106 NETMASK=255.255.252.0 GATEWAY=192.168.
一、安装gcc依赖 由于 redis 是用 C 语言开发,安装之前必先确认是否安装 gcc 环境(gcc -v),如果没有安装,执行以下命令进行安装 [root@localhost local]# yum install -y gcc 二、下载并解压安装包 [root@localhost local
第一步 On CentOS/RHEL 6.*: $ sudo rpm -Uvh http://li.nux.ro/download/nux/dextop/el6/x86_64/nux-dextop-release-0-2.el6.nux.noarch.rpm On CentOS/RHEL 7: $
/// <summary> /// 取小写文件名后缀 /// </summary> /// <param name="name">文件名</param> /// <returns>返回小写后缀,不带“.”</ret
which nohup .bash_profile中并source加载 如果没有就安装吧 yum provides */nohup nohup npm run start & nohup ./kibana &
1.1 MySQL安装 1.1.1 下载wget命令 yum -y install wget 1.1.2 在线下载mysql安装包 wget https://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm 1.1.3 安装My
重启 reboot shutdown -r now init 6 关闭 init 0 shutdown -h now shutdown -h 20:25 #8点25关机查看内存 free CPU利用率 top 日期 date 设置时间 date 033017002015 #月日时间年 日历 cal
1、firewalld的基本使用 启动: systemctl start firewalld 关闭: systemctl stop firewalld 查看状态: systemctl status firewalld 开机禁用 : systemctl disable firewalld 开机启用 :
1 下载并安装MySQL官方的 Yum Repository wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm 使用上面的命令就直接下载了安装用的Yum Repository,大概
CentOS6.x CentOS6中转用Upstrat代替以前的init.d/rcX.d的线性启动方式。 一、相关命令 通过initctl help可以查看相关命令 [root@localhost ~]# initctl help Job commands: start Start job. sto
1、使用命令:df -lk 找到已满磁盘 2、使用命令:du --max-depth=1 -h 查找大文件,删除
ifconfig:查看网卡信息 网卡配置文件位置: /etc/sysconfig/network-scripts/文件夹 nmtui:配置网卡 netstat -tlunp:查看端口信息 端口信息存储位置: /etc/services文件 route:查看路由信息 wget:下载网路文件,例如 wg
ps -ef:查看所有进程, ps -ef |grap firewalld 查看与firewalld相关的进程 which :查看进程:which firewalld kill 进程id:杀掉进程 kill 640,强制杀:kill -9 640 man:查看帮助,例如 man ps 查看
useradd:添加用户 useradd abc,默认添加一个abc组 vipw:查看系统中用户 groupadd:添加组groupadd ccna vigr:查看系统中的组 gpasswd:将用户abc添加到ccna组 gpasswd -a abc ccna groups abc:查看用户abc属