CentOS7.0安装配置Storm集群

分类：CentOS作者：编程之家用户

1.环境准备

  • 操作系统: CentOS7.0
  • Zookeeper版本：zookeeper-3.4.10
  • Storm版本：apache-storm-1.1.0
  • JDK版本：jdk1.8.0_77
  • Python版本：
  • 集群配置如下：
# os hostname ip software notes
1 CentOS7 apollo.dt.com 192.168.56.181 1.zookeeper
2.storm		 master
2 CentOS7 artemis.dt.com 192.168.56.182 1.zookeeper
2.storm		 worker
3 CentOS7 uranus.dt.com 192.168.56.183 1.zookeeper
2.storm		 worker

2.前提条件

2.1.安装配置JDK1.8

CentOS7 安装JDK1.8

2.2.安装配置Zookeeper集群

CentOS7安装配置zookeeper集群

3.下载Apache Storm

[root@dtadmin ~]# wget https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.1.0/apache-storm-1.1.0.tar.gz
  • 1

4. 安装Storm

4.1.安装依赖库

[root@apollo ~]# yum install libtool -y
[root@apollo ~]# yum -y install gcc
[root@apollo ~]# yum -y install gcc-c++
[root@apollo ~]# yum -y install make
[root@apollo ~]# yum -y install uuid-devel
[root@apollo ~]# yum -y install libuuid-devel
[root@apollo ~]# yum -y install e2fsprogs-devel
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

4.2.下载libsodium

[root@apollo dtadmin]# wget https://download.libsodium.org/libsodium/releases/libsodium-1.0.10.tar.gz
#解压
[root@apollo dtadmin]# tar -zxvf libsodium-1.0.10.tar.gz
#移到目录/opt/下
[root@apollo dtadmin]# mv libsodium-1.0.10 /opt/libsodium-1.0.10
#进入到目录
[root@apollo dtadmin]# cd /opt/libsodium-1.0.10
#编译
[root@apollo libsodium-1.0.10]# ./autogen.sh 
[root@apollo libsodium-1.0.10]# ./configure 
[root@apollo libsodium-1.0.10]# make
[root@apollo libsodium-1.0.10]# make install
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

4.3.ZeroMQ

官网下载ZeroMQ

#解压
[root@apollo dtadmin]# tar -xvf zeromq-4.2.1.tar 
#移到目录/opt/zeromq下
[root@apollo dtadmin]# mv zeromq-4.2.1 /opt/zeromq
#进入目录/opt/zeromq
[root@apollo dtadmin]# cd /opt/zeromq/
#编译安装
[root@apollo zeromq]# ./autogen.sh 
[root@apollo zeromq]# ./configure PKG_CONFIG_PATH="/usr/local/lib/pkgconfig"
[root@apollo zeromq]# make
[root@apollo zeromq]# make install
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

4.4 jzmq

#如果没有安装git
[root@apollo zeromq]# yum -y install git
#git clone jzmq
[root@apollo zeromq]# git clone git://github.com/zeromq/jzmq.git
#移动jzmq到/opt/jzmq下
[root@apollo zeromq]# mv jzmq /opt/jzmq
#进入目录jzmq/jzmq-jni
[root@apollo zeromq]# cd /opt/jzmq/jzmq-jni
#编译
[root@apollo jzmq-jni]# ./autogen.sh 
[root@apollo jzmq-jni]# ./configure
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

4.4.解压storm到/opt/storm/下

#解压
[root@apollo dtadmin]# tar -zxvf apache-storm-1.1.0.tar.gz 
#移到/opt/storm下
[root@apollo dtadmin]# mv apache-storm-1.1.0 /opt/storm
  • 1
  • 2
  • 3
  • 4

5.配置环境变量

[root@apollo dtadmin]# vim /etc/profile
#添加以下配置
# storm-1.1.0
export STORM_HOME=/opt/storm
export PATH=$PATH:$STORM_HOME/bin

#使修改生效
[root@apollo dtadmin]# source /etc/profile
#验证
[root@apollo dtadmin]# echo $STORM_HOME
/opt/storm
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

6.修改配置文件

6.1.配置storm.yaml

#进入$STORM_HOME目录
[root@apollo storm]# cd $STORM_HOME
#创建目录
[root@apollo storm]# mkdir -p data
#进入配置文件目录
[root@apollo storm]# cd $STORM_HOME/conf
#修改配置文件storm.yaml
[root@apollo conf]# vim storm.yaml
#修改的配置项如下
 storm.zookeeper.servers:
     - "192.168.56.181"
     - "192.168.56.182"
     - "192.168.56.183"

 nimbus.seeds: ["192.168.56.181"]

 storm.local.dir: "/opt/storm/data"
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

6.2 配置文件验证可以通过YAML Lint

把storm.yaml配置文件中的内容拷贝到YAML Lint框中验证，如下图所示：

6.3.配置项说明

  • storm.zookeeper.servers:表示zookeeper的集群地址，如果Zookeeper集群使用的不是默认端口，那么还需要配置storm.zookeeper.port
  • storm.zookeeper.port: Zookeeper集群的端口号
  • storm.local.dir: 用于配置Storm存储少量文件的路径
  • nimbus.seeds: 用于配置主控节点的地址，可以配置多个

7.拷贝文件到其余工作节点

* 注：在拷贝文件前，2~5的所有步骤都要在从机上完成。*

#拷贝到服务器artemis.dt.com上
[root@apollo opt]# scp -r storm/ artemis.dt.com:/opt/
#拷贝到服务器uranus.dt.com上
[root@apollo opt]# scp -r storm/ uranus.dt.com:/opt/
  • 1
  • 2
  • 3
  • 4

8.启动Storm

8.1. 启动主控节点

[root@apollo opt]# nohup $STORM_HOME/bin/storm nimbus &
  • 1

8.2.启动工作节点

[root@artemis dtadmin]# nohup $STORM_HOME/bin/storm supervisor &
[root@uranus dtadmin]# nohup $STORM_HOME/bin/storm supervisor &
  • 1
  • 2

8.3.启动管理页面

#主控节点上运行
[root@apollo ~]# nohup $STORM_HOME/bin/storm ui &
  • 1
  • 2

8.4.在管理页面上查看storm集群情况

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

elasticsearch 开机自启
linux下开机自启： 在/etc/init.d目录下新建文件elasticsearch 并敲入shell脚本： 注意， 前两行必须填写，且要注释掉。 第一行为shell前行代码，目的告诉系统使用shell。 第二行分别代表运行级别、启动优先权、关闭优先权，且后面添加开机服务会用到。 shell脚本
centos7 开机自动执行脚本
1、因为在centos7中/etc/rc.d/rc.local的权限被降低了，所以需要赋予其可执行权 chmod +x /etc/rc.d/rc.local 2、赋予脚本可执行权限假设/usr/local/script/autostart.sh是你的脚本路径，给予执行权限 chmod +x /usr
centos 目录磁盘使用情况
最简单的查看方法可以使用ls -ll、ls-lh命令进行查看，当使用ls -ll，会显示成字节大小，而ls- lh会以KB、MB等为单位进行显示，这样比较直观一些。 通过命令du -h –max-depth=1 *，可以查看当前目录下各文件、文件夹的大小，这个比较实用。 查询当前目录总大小可以使用d
centos7 守护进程
ASP.NET Core应用程序发布linux在shell中运行是正常的。可一但shell关闭网站也就关闭了，所以要配置守护进程， 用的是Supervisor，本文主要记录配置的过程和过程遇到的问题 安装Supervisor 1 yum install python-setuptools
Centos 同步时间
设置时区（CentOS 7） 先执行命令timedatectl status|grep 'Time zone'查看当前时区，如果不是时区（Asia/Shanghai），则需要先设置为中国时区，否则时区不同会存在时差。 #已经是Asia/Shanghai，则无需设置 [root@xia
Centos 固定ip
vim /etc/sysconfig/network-scripts/ifcfg-eth0 BOOTPROTO="static" ONBOOT=yes IPADDR=192.168.8.106 NETMASK=255.255.252.0 GATEWAY=192.168.
centos7 安装redis
一、安装gcc依赖 由于 redis 是用 C 语言开发，安装之前必先确认是否安装 gcc 环境（gcc -v），如果没有安装，执行以下命令进行安装 [root@localhost local]# yum install -y gcc 二、下载并解压安装包 [root@localhost local
netcore linux ffmpeg 首帧图
第一步 On CentOS/RHEL 6.*: $ sudo rpm -Uvh http://li.nux.ro/download/nux/dextop/el6/x86_64/nux-dextop-release-0-2.el6.nux.noarch.rpm On CentOS/RHEL 7: $
netcore 图片缩略图
/// <summary> /// 取小写文件名后缀 /// </summary> /// <param name="name">文件名</param> /// <returns>返回小写后缀，不带“.”</ret
.net core 与ELK（4）后台运行els可视化工具和Kibana
which nohup .bash_profile中并source加载 如果没有就安装吧 yum provides */nohup nohup npm run start & nohup ./kibana &
Centos安装mysql57
1.1 MySQL安装 1.1.1 下载wget命令 yum -y install wget 1.1.2 在线下载mysql安装包 wget https://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm 1.1.3 安装My
CentOS 系统管理与yum软件仓库搭建
重启 reboot shutdown -r now init 6 关闭 init 0 shutdown -h now shutdown -h 20：25 #8点25关机查看内存 free CPU利用率 top 日期 date 设置时间 date 033017002015 #月日时间年 日历 cal
CentOS 防火墙
1、firewalld的基本使用 启动： systemctl start firewalld 关闭： systemctl stop firewalld 查看状态： systemctl status firewalld 开机禁用 ： systemctl disable firewalld 开机启用 ：
Centos 查找命令路径
which docker
centos7 安装mysql5.7
1 下载并安装MySQL官方的 Yum Repository wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm 使用上面的命令就直接下载了安装用的Yum Repository，大概
CentOS6/7 配置守护进程
CentOS6.x CentOS6中转用Upstrat代替以前的init.d/rcX.d的线性启动方式。 一、相关命令 通过initctl help可以查看相关命令 [root@localhost ~]# initctl help Job commands: start Start job. sto
centos 磁盘满
1、使用命令：df -lk 找到已满磁盘 2、使用命令：du --max-depth=1 -h 查找大文件，删除
CentOS 网络操作
ifconfig：查看网卡信息 网卡配置文件位置： /etc/sysconfig/network-scripts/文件夹 nmtui：配置网卡 netstat -tlunp：查看端口信息 端口信息存储位置： /etc/services文件 route：查看路由信息 wget：下载网路文件，例如 wg
CentOS 进程操作
ps -ef：查看所有进程， ps -ef |grap firewalld 查看与firewalld相关的进程 which ：查看进程：which firewalld kill 进程id：杀掉进程 kill 640，强制杀：kill -9 640 man：查看帮助，例如 man ps 查看
CentOS 用户/组与权限
useradd：添加用户 useradd abc，默认添加一个abc组 vipw：查看系统中用户 groupadd：添加组groupadd ccna vigr：查看系统中的组 gpasswd：将用户abc添加到ccna组 gpasswd -a abc ccna groups abc：查看用户abc属
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot