前言
随着大数据的快速发展,行业大数据服务越来越重要。同时,对大数据实时计算的要求也越来越高。今天会和大家分享下爱奇艺基于Apache Flink的实时计算平台建设实践。
今天的介绍会围绕下面三点展开:
-
Flink的现状与改进
-
平台化的探索和实践:实时计算平台
-
Flink业务案例
01Flink的现状与改进
1. Flink现状
首先和大家分享下爱奇艺大数据服务的发展史。
-
2012年搭建了第一个Hadoop集群,当时只有大概20几个节点,使用的计算框架是MapReduce和Hive等
-
到2013,2014年,开始使用Hadoop 2.0,上线了Storm和Spark,由于Storm的使用性和稳定性不够好,被放弃使用,转而使用Spark
-
2015年发布了第一个实时计算平台Europa,上线了Kafka
-
2017年使用了Flink,同时我们基于Spark和Flink打造了流式计算引擎St
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。