SparkStreaming的初步介绍（和小部分源码探源）
Graphx 集成了shortestpath 最短路径算法，具体采用的是迪杰斯特拉算法，引用库为：org.apache.spark.graphx.li
在shuffle read阶段，分别对streamIter和buildIter进行merge sort，在遍历streamIter时，对于每条记录，都
Spark Serverless Glue 大数据 ETL
因为join可能存在笛卡尔乘积，而join底层实现就是corgroup，所以corgroup可能存在笛卡尔乘积，源码如下。问题二：corgroup可能
嗨，各位小伙伴大家好，我是爱小可爱的IT白，最近应朋友所邀，一直让写一篇关于Spark调优方面的文章，这两天工作之余，忙里偷闲，写了这篇调优文章，跟大
数据量级上亿，SparkStreaming 的 bath time 为 1 min, 在某一个时刻开始出现任务堆积，即大量任务处于 Queued 状态
Tasks数决定因素在Spark 中 我们知道会将一个任务划分为多个stage ，划分stage的依据就是是否为宽依赖（存在shuffle）,每个s
对比广告业务场景下，目前最流行的流处理引擎Flink和Spark streaming性能
EventBridge 实时事件分析平台依托基于事件的实时处理引擎，提供数值检索、可视化分析、多组态分析、事件轨迹、事件溯源和 Schema 管理等能
explodedemoexplode(map)lateral view explode(map)explode(array)lateral
最近任务在大量shuffle时，发现了shuffleread时候特别慢，查了相关的参数做一下记录。spark.reducer.maxSizeInF
什么是spark：spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。spark与hadoop的差异：根本差异是多个作业之间的数据通信问
Flink系统架构中包含了两个角色，分别是JobManager和TaskManager，是一个典型的Master-Slave架构。JobManager
1.经过多年的发展，Hadoop生态系统不断完善和成熟，目前已经包含多个子项目，其中YARN的主要功能是？A.负责集群资源调度管理的组件B.分布式并行
Spark Streaming 简单介绍以及WC案例
