Flink异步之矛-锋利的AsyncI/O大数据技术与架构大数据技术与架构维表JOIN-绕不过去的业务场景在Flink流处理过程中，经常需要和外部系统进行交互，用维度表补全事实表中的字段。例如：在电商场景中，需要一个商品的skuid去关联商品的一些属性，例如商品所属行业、商品的生产厂家、生产

前言再上一篇文章中 《从0到1学习Flink》——DataSource介绍 讲解了FlinkDataSource，那么这里就来讲讲FlinkDataSink吧。首先Sink的意思是：大概可以猜到了吧！Datasink有点把数据存储下来（落库）的意思。如上图，Source就是数据的来源，中间的Compute其实就是Flink干的

2020年要做的几件大事群主王知无大数据技术与架构技术方向包含了：实时计算技术方向：Flink、Spark、Kafka等离线计算技术方向：Hive、Hadoop、HDFS、Hbase等语言基础技术方向：Java基础、并发、多线程、JVM、NIO、RPC等其他技术方向：数仓、数据湖、数据平台/中台等面试题相关：这个部分直

今年年前，ApacheFlink背后公司 Ververica的CEOKostasTzoumas和联合创始人FabianHueske 宣布离职，《ApacheFlink背后公司Ververica的核心成员离职》。就在昨天，又有几个核心开发人员在Twitter宣布离职，包括 AljoschaKrettek和 KostasKloudas。AljoschaKrettek是

前言在 《从0到1学习Flink》——DataSource介绍 文章中，我给大家介绍了FlinkDataSource以及简短的介绍了一下自定义DataSource，这篇文章更详细的介绍下，并写一个demo出来让大家理解。FlinkKafkasource准备工作我们先来看下Flink从Kafkatopic中获取数据的demo，首先

Flink-End-to-EndExactly-Once语义1.什么是状态一致性Flink跟其他的流计算引擎相比,最突出或者做的最好的就是状态的管理，根据对状态的学习，我们知道flink是有状态的流处理，内部每个算子任务都可以有自己的状态对于流处理器内部来说，所谓的状态一致性，其实就是我们所说的计算

【大数据面试题】Flink企业级面试题60连击群主王知无大数据技术与架构1、Flink如何保证精确一次性消费Flink保证精确一次性消费主要依赖于两种Flink机制1、Checkpoint机制2、二阶段提交机制Checkpoint机制主要是当Flink开启Checkpoint的时候，会往Source端插入一条barrir，然

A1报错A2原因没有导入相应包A3解决在算子前添加importorg.apache.flink.api.scala._

前言DataSources是什么呢？就字面意思其实就可以知道：数据来源。Flink做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink就能够一直计算下去，这个DataSources

前面文章我们已经知道Flink是什么东西了，安装好Flink后，我们再来看下安装路径下的配置文件吧。安装目录下主要有flink-conf.yaml配置、日志的配置文件、zk配置、FlinkSQLClient配置。flink-conf.yaml基础配置1# jobManager 的IP地址2jobmanager.rpc.address: localhos

Flink流处理为什么需要网络流控？分析一个简单的Flink流任务，下图是一个简单的Flink流任务执行图：任务首先从Kafka中读取数据、map算子对数据进行转换、keyBy按照指定key对数据进行分区（相同key的数据经过keyBy后分到同一个subtask实例中），keyBy后对数据接着进行map转

前言在第一篇介绍Flink的文章 《《从0到1学习Flink》——ApacheFlink介绍》 中就说过Flink程序的结构Flink应用程序结构就是如上图所示：1、Source:数据源，Flink在流处理和批处理上的source大概有4类：基于本地集合的source、基于文件的source、基于网络套接字的sour

前言之前在 Flink从0到1学习——Flink不可以连续Split(分流)？ 讲过Flink使用连续的Split会有问题，当时提供了几种解决方法，有一种方法就是使用SideOutput来进行，当时留了个余念，那么就在这篇文章详细的讲一波，教大家如何使用SideOutput来分流。SideOutput通常我们在处理

Flink1.8.0重大更新-Flink中State的自动清除详解群主王知无大数据技术与架构导读：基于时间的状态访问和对应用程序状态大小进行控制是有状态流处理领域中的常见问题和挑战。Flink的1.8.0版本通过添加对过期状态对象的连续后台清理的支持，显著改进了状态TTL功能。新的清理

数据湖解决方案关键一环，IceBerg会不会脱颖而出？大数据技术与架构大数据技术与架构小编在之前的详细讲解过关于数据湖的发展历程和现状，《我看好数据湖的未来，但不看好数据湖的现在》，在最后一部分中提到了当前数据湖的解决方案中，目前跳的最凶的三巨头包括：Delta、ApacheIceberg和

前言在上一篇博客中，我们对欺诈检测引擎的目标和所需要的功能进行了描述，我们还描述了如何基于可修改的规则而不是使用硬编码的KeysExtractor实现Flink应用程序的数据自定义分区。我们在上篇博客中特意省略了有关如何初始化应用的规则以及如何在作业运行时更新的细节，在本文我们将