来源：https://zhuanlan.zhihu.com/p/1098320011、IDEA配制1.1安装scala插件1.2配制maven修改IDEA的maven为本地安装的maven：IntelliJIDEA->Preferences   如上图，配制的目的，是为了让编译源码时用我们配制好的maven服务2、Maven配制有关maven的安装可以看这篇中mav

-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5325因为用flink集群来做sql上的测试，需要在远程和idea都设置一下参数；本地的话：设置ip和端口 远程java的话，需要在启动的里面，端口对应上。需要增加jvm启动项-agentlib:jdwp=transport=dt_socket,server=y

码住！FlinkContributor速成指南伍翀（云邪）Flink中文社区整理：陈婧敏（清樾）本文整理自ApacheFlinkPMC伍翀（云邪）直播分享，旨在为具备一定大数据基础、对Flink社区发展感兴趣的同学提供参与贡献的一些经验和流程。为什么要参与开源社区作为ApacheFlinkPMC的云邪根据自身

一、本文大纲二、ClassLoader类加载器1、Java中的类加载器以及双亲委派机制Java中的类加载器，是Java运行时环境的一部分，负责动态加载Java类到Java虚拟机的内存中。有了类加载器，Java运行系统不需要知道文件与文件系统。那么类加载器，什么类都加载吗？加载的规则是什么？

来源：https://mp.weixin.qq.com/s/ECe_bn9HzFzXTlfEnAaLBg3Flink读写Hive3.1 Flink写入Hive表Flink支持以**批处理(Batch)和流处理(Streaming)**的方式写入Hive表。当以批处理的方式写入Hive表时，只有当写入作业结束时，才可以看到写入的数据。批处理的方式写入支持append模式和o

背景:公司疫情填报系统。公司有A、B两类员工，每日需要填写疫情相关的信息。这批数据存在mysql之中，个人填报信息每天最多存1条记录，多次提交的数据会将最新记录保留。其中主要涉及三张表，一张员工信息表、一张在公司的疫情填报表，一张不在公司的疫情填报表。两张表中关联字段user_id

本文分享，将继续介绍Flink集成Hive的另外两个概念：HiveCatalog与HiveDialect。本文包括以下内容，希望对你有所帮助。什么是HiveCatalog如何使用HiveCatalog什么是HiveDialect如何使用HiveDialect什么是HiveCatalog我们知道，Hive使用HiveMetastore(HMS)存储元数据信息，使用

本篇要解决的问题：Flink是使用Java的序列化方式吗？Java序列化方式有什么问题？Java中是用Class描述类型，Flink也是用Class描述吗？请解释以下Java类型擦除。Flink中为什么使用Lambda表达式实现flatMap需要通过returns指定类型呢？newArrayList()和newArrayList(){}的区别是什么？

ProcessFunctionAPI最底层的API一共是八个ProcessFunctionProcessFunctiondataStreamKeyedProcessFunction用于KeyedStream，keyBy之后的流处理CoProcessFunction用于connect连接的流ProcessJoinFunction用于join流操作BroadcastProcessFunction用于广播KeyedBroadcas

目录1、Hadoop相关2、启动时出现missingparametertype错误3、处理Protobuf对象4、Flink-kafkaProducer问题 5、static关键字导致加载config为空问题6、序列化异常1、Hadoop相关javax.xml.parsers.FactoryConfigurationError:Providerforclassjavax.xml.parsers

ApacheFlink进阶（八）：详解Metrics原理与实战刘彪Flink中文社区本文由ApacheFlinkContributor刘彪分享，对什么是Metrics、如何使用Metrics两大问题进行了详细的介绍，并对Metrics监控实战进行解释说明。什么是Metrics？Flink提供的Metrics可以在Flink内部收集一

Flink消息聚合处理方案曹富强/张颖Flink中文社区微博机器学习平台使用Flink实时处理用户行为日志和生成标签，并且在生成标签后写入存储系统。为了降低存储系统的IO负载，有批量写入的需求，同时对数据延迟也需要进行一定的控制，因此需要一种有效的消息聚合处理方案。在本

ApacheFlink进阶（四）：FlinkonYarn/K8s原理剖析及实践周凯波（宝牛）Flink中文社区本文根据ApacheFlink进阶篇系列直播课程整理而成，由阿里巴巴技术专家周凯波（宝牛）分享，主要介绍FlinkonYarn/K8s的原理及应用实践，文章将从Flink架构、FlinkonYarn原理及实践、Flink

藏不住了，Flink未来发展的最新方向在这里！Flink社区Flink中文社区距离11月28日FlinkForwardAsia大会重磅开启还剩3天！之前我们详细介绍了围绕ApacheFlink及其核心技术开设的五大专场，包括：企业实践、Apache核心技术专场、开源大数据生态、实时数仓、人工智能五

ApacheFlink进阶（五）：数据类型和序列化马庆祥Flink中文社区本文根据ApacheFlink系列直播整理而成，由ApacheFlinkContributor、奇虎360数据开发高级工程师马庆祥老师分享。文章主要从如何为Flink量身定制序列化框架、Flink序列化的最佳实践、Flink通信层的序列化以及

基于JVM的大数据处理分析引擎面临的一个问题是，为了高效地处理数据，有大量的数据需要保存在内存中。直接使用JVM堆内存来管理这些数据对象是最简单的实现，但是这样会导致一系列问题：首先，在有大量的数据对象不停地创建和失效的情况下，要正常地管理和控制堆内存并非易事，很容易引