flink 1.7.2 安装详解

编程之家收集整理的这篇文章主要介绍了flink 1.7.2 安装详解编程之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

##flink 1.7.2 安装
需要java环境

下载地址 https://flink.apache.org/downloads.html
#1、单机版

#创建用户flink
useradd flink -d /home/flink
echo "flink123" | passwd flink --stdin

#解压
tar -zxvf flink-1.7.2-bin-hadoop26-scala_2.11.tgz

#启动
cd flink-1.7.2/bin/ && ./start-cluster.sh

#测试
1、web页面查看:ip:8081 例如:http://192.168.88.132:8081
2、运行实例wordcount程序:cd flink-1.7.2/bin/ && ./flink run ../examples/batch/WordCount.jar
3、jps 查看进程


#2、独立集群版
#准备机器 /etc/hosts
192.168.88.130 lgh
192.168.88.131 lgh1
192.168.88.132 lgh2

#创建用户flink(所有机器)
useradd flink -d /home/flink
echo "flink123" | passwd flink --stdin

#ssh免密登录(在192.168.88.130,指定一台操作)
su - flink
ssh-keygen -t rsa
ssh-copy-id 192.168.88.131
ssh-copy-id 192.168.88.132

#解压
tar -zxvf flink-1.7.2-bin-hadoop26-scala_2.11.tgz

cd flink-1.7.2/conf

#修改配置文件
#1、masters
192.168.88.130:8081

#2、slaves
192.168.88.131
192.168.88.132

#3、flink-conf.yaml
cat flink-conf.yaml | grep -v ^# | grep -v "^$"

jobmanager.rpc.address: 192.168.88.130
jobmanager.rpc.port: 6123
env.java.home: /usr/java/default
jobmanager.heap.size: 1024m
taskmanager.heap.size: 1024m
taskmanager.numberOfTaskSlots: 1
parallelism.default: 1
rest.port: 8081

#分发flink
scp -r flink-1.7.2 flink@192.168.88.131/home/flink
scp -r flink-1.7.2 flink@192.168.88.132/home/flink

#启动
在主节点上:cd flink-1.7.2/bin/ && ./start-cluster.sh

#测试
1、web页面查看:ip:8081 例如:http://192.168.88.132:8081
2、运行实例wordcount程序:cd flink-1.7.2/bin/ && ./flink run ../examples/batch/WordCount.jar
3、jps 查看


#3、基于yarn的集群版(前提是安装好了hadoop)
hadoop的安装:可参考https://www.cnblogs.com/zsql/p/10736420.html
在独立集群的基础上:新增如下

#配置hadoop的环境变量 /etc/profile 或者 ~/.bashrc
export HADOOP_HOME=/apps/opt/cloudera/parcels/CDH/lib/hadoop
export HADOOP_CONF_DIR=/etc/hadoop/conf
export YARN_CONF_DIR=/etc/hadoop/conf

然后使用source命令使配置文件生效

#分发flink
scp -r flink-1.7.2 flink@192.168.88.131/home/flink
scp -r flink-1.7.2 flink@192.168.88.132/home/flink

#启动集群和yarn-session
cd flink-1.7.2 && ./start-cluster.sh
cd flink-1.7.2 && nohup ./bin/yarn-session.sh &

#测试
1、jps 查看进程
2、执行程序:./bin/flink run -m yarn-cluster -yn 2 ./examples/batch/WordCount.jar
然后去hadoop的yarn页面查看作业,ip:8088

 

#4、高可用版(安装zookeeper,或者修改conf/zoo.cfg,推荐安装zookeeper)
zookeeper的安装可以参考:https://www.cnblogs.com/zsql/p/10736420.html

在基于yarn版本集群的基础上修改如下配置:
#1、masters
192.168.88.130:8081
192.168.88.131:8082

#2、flink-conf.yaml (一定要注意空格..踩过坑)
jobmanager.rpc.address: 192.168.88.130
jobmanager.rpc.port: 6123
env.java.home: /usr/java/default
jobmanager.heap.size: 1024m
taskmanager.heap.size: 1024m
taskmanager.numberOfTaskSlots: 1
parallelism.default: 1
high-availability: zookeeper
high-availability.zookeeper.path.root:/user/flink/root 
high-availability.storageDir: hdfs:///user/flink/ha/ #该目录flink用户一定要有权限
high-availability.zookeeper.quorum: 192.168.88.130:2181,192.168.88.131:2181,192.168.88.132:2181
rest.port: 8081

#分发flink
scp -r flink-1.7.2 flink@192.168.88.131/home/flink
scp -r flink-1.7.2 flink@192.168.88.132/home/flink

#测试如上yarn集群
新增测试,kill掉一个主节点进程,看是否能跑作业

 

总结

以上是编程之家为你收集整理的flink 1.7.2 安装详解全部内容,希望文章能够帮你解决flink 1.7.2 安装详解所遇到的程序开发问题。

如果觉得编程之家网站内容还不错,欢迎将编程之家网站推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您喜欢寻找一群志同道合、互帮互助的学习伙伴,可以点击下方链接加入:
编程之家官方1群:1065694478(已满)
编程之家官方2群:163560250(已满)
编程之家官方3群:312128206

相关文章

猜你在找的大数据相关文章

###windows下链接hadoop集群 1、假如在linux机器上已经搭建好hadoop集群 2、在windows上把hadoop的压缩包解压到一个没有空格的目录下,比如是D盘根目录 3、配置环境
1、zookeeper的安装##配置/etc/hosts192.168.88.130 lgh192.168.88.131 lgh1192.168.88.132 lgh2 ##安装java8 解压配置环
一、迁移背景 服务器出了问题,导致整个cm server界面呈现出不可用的状态,也就是获取不到各个大数据组件以及主机相关的状态的信息,整个cm server的前端界面处于瘫痪的状态,不可用,刚开始怀疑
在前面一篇文章中(hadoop2.7之作业提交详解(上))中涉及到文件的分片。 JobSubmitter.submitJobInternal方法中调用了int maps = writeSplits(j
根据wordcount进行分析: 这上面是个简单wordcount的代码,这里就不一一说明了,我们首先看main方法:获取一个job对象,然后经过一系列的设置,最后调用waitForCompletio
Apache YARN(Yet Another Resource Negotiator)是一个Hadoop集群资源管理系统。YARN是在Hadoop 2引入的,用以改善MapReduce的表现。但是它
数据流 读取文件数据的剖析 为了知道客户端与HDFS,NameNode,DataNode交互过程中数据的流向,请看图3 2,这张图显示了读取文件过程中主要的事件顺序。 客户端通过调用FileSyste
Hive支持自定义map与reduce script。接下来我用一个简单的wordcount例子加以说明。 如果自己使用Java开发,需要处理System.in,System,out以及key/val