数据湖是将公司所有数据，外部数据，不知道要不要用的数据放在一起，通过一定的数据治理，让数据可以被发现，被理解，以用于交叉查询或机器学习的研究。数据湖不麻烦，管理数据湖中的数据最麻烦，一不小心就会变成数据沼泽。没人知道里面有什么数据，从哪来的，是干嘛的。目前市面上流行的三大开

Flink计算PV，UV的案例及问题分析浪院长浪尖聊大数据PV(访问量)：即PageView,即页面浏览量或点击量，用户每次刷新即被计算一次。UV(独立访客)：即UniqueVisitor,访问您网站的一台电脑客户端为一个访客。00:00-24:00内相同的客户端只被计算一次。一个UV可以用很多PV，一个PV也只能

1、Flink状态去重场景在Flink运行的时候，往往是无休止的运行，在整个Flink程序运行的长河中，往往会出现很多状态的出现，那么状态的生命周期，也就是创建、使用和销毁，那么在我们写flink程序过程中，往往不需要关注flink状态的清理，flink内部就会对我们的状态进行清理，例如我们开一个10分钟

FlinkSQL演进过程，解析原理及一些优化策略云邪浪尖聊大数据本文整理自FlinkForward全球在线会议，演讲者云邪，由浪尖整理。1.Flinktable/sql架构演变flink1.9之前的版本，对于TableAPI和SQL的底层实现结构如下图，可以看处流处理和批处理有各自独立的api(流处理DataStream，批

1-TableAPI&SQL之入门案例以案例形式，讲解TableAPI和SQL基本使用，分别针对批处理和流计算使用TableAPI和SQL分析数据。首先看一下FlinkTableAPI和SQL使用，构建应用步骤。第一步、添加依赖第2步、具体提供API​目前新版本（当前使用版本Flink1.10）Flink的Table和S

一、流式计算的未来在谷歌发表了GFS、BigTable、GoogleMapReduce三篇论文后，大数据技术真正有了第一次飞跃，Hadoop生态系统逐渐发展起来。Hadoop在处理大批量数据时表现非常好，主要有以下特点：计算开始之前，数据必须提前准备好，然后才可以开始计算；当大量数据计算完成之后，会

时间（Time）语义EventTime：事件创建的时间IngestionTime：数据进入Flink的时间ProcessingTime：执行操作算子的本地系统时间，与机器相关在代码中设置EventTime我们可以直接在代码中，对执行环境调用setStreamTimeCharacteristic方法，设置流的时间特性具体的时间，还需要从数据

blink解决的一个flink分析痛点浪院长浪尖聊大数据blink正在紧锣密鼓的与flink合并，作为flink开发者，大数据开发者，还是有必要测试一下的，经常有粉丝微信群里问浪尖会不会用blink，关于这点，我发过文章了：浪尖你怎么看blink开源？我的建议是等合并之后，测试稳定了再用。那么今天也主要

Flink项目中访问Redis的方法都是自己进行的实现，推荐使用Bahir连接器。在本地单机情况下：publicstaticclassRedisExampleMapperimplementsRedisMapper<Tuple2<String,String>>{@OverridepublicRedisCommandDescriptiongetCommandDescription(){

当Flink提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF(UDF:userdefinedfunction)、（UDAF)、（UDTF）自定义函数类别UDF:自定义标量函数(UserDefinedScalarFunction)。一行输入一行输出。UDAF:自定义聚合函数。多行输入一行输出。UDTF:

案例说明flink的udf浪尖浪尖聊大数据本文会主要讲三种udf：ScalarFunctionTableFunctionAggregateFunction用户自定义函数是非常重要的一个特征，因为他极大地扩展了查询的表达能力。本文除了介绍这三种udf之外，最后会介绍一个redis作为交互数据源的udf案例。注册用户自定义

分享嘉宾：于茜微博 高级算法工程师编辑整理：王洪达内容来源：FlinkForward导读：微博作为国内比较主流的社交媒体平台，目前拥有2.22亿日活用户和5.16亿月活用户。如何为用户实时推荐优质内容，背后离不开微博的大规模机器学习平台。本文由微博机器学习研发中心高级算法工程师于茜老师分享

特别说明，本博主Flink文章部分内容来自于尚硅谷的Flink系列视频，在此感谢BILIBILI学习平台和尚硅谷官方。1.Flink官网地址http://flink.apache.org2.Flink简介ApacheFlink是一个框架和分布式处理引擎（用于数据计算而非存储框架），用于对无界和有界数据流（流数据，数据是源源不断

你不了解的flink特性-trigger浪尖浪尖聊大数据今天主要是聊一下flink的窗口计算的一个小功能-trigger。窗口这个概念还是比较好理解的，就是在某一个纬度(时间，条数等)上选取一段范围，这个范围就是窗口，然后我们后面的计算针对这个窗口进行。今天的例子主要是针对时间窗口进行讲解。

分享嘉宾：贺小令 阿里巴巴技术专家编辑整理：王吉东内容来源：FlinkForwardASIA出品平台：DataFun注：转载请在公众号后台回复“转载”。导读：本次分享的主题为ApacheFlink新场景——OLAP引擎，主要内容包括：背景介绍ApacheFlinkOLAP引擎案例介绍未来计划1.OLAP及其分类OLAP是一种让用户

FlinkDataStream编程指南及使用注意事项。 浪尖 浪尖聊大数据Flink中的DataStream程序是对数据流进行转换的常规程序（例如，过滤，更新状态，定义窗口，聚合）。数据流的最初的源可以从各种来源(例如，消息队列，套接字流，文件)创建，并通过sink返回结果，例如可以将数据写入文件或标准输出。Flink程