Flink简介Flink的核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布，数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以方便用户编写分布式任务：1.DataSetAPI,对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可

SparkSQL支持两种方式将现有RDD转换为DataFrame。第一种方法使用反射来推断RDD的schema并创建DataSet然后将其转化为DataFrame。这种基于反射方法十分简便，但是前提是在您编写Spark应用程序时就已经知道RDD的schema类型。第二种方法是通过编程接口，使用您构建的StructType，然后将其应

一、spark集群运算的模式Spark有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在Yarn和Mesos中，当然Spark还有自带的Standalone模式，对于大多数情况Standalone模式就足够了，如果企业已经有Yarn或者Mesos环境，也是很方

一、Spark与Scala版本兼容问题：Spark运行在Java8+，Python2.7+/3.4+和R3.1+上。对于ScalaAPI，Spark2.4.2使用Scala2.12。您需要使用兼容的Scala版本（2.12.x）。请注意，自Spark2.2.0起，对2.6.5之前的Java7，Python2.6和旧Hadoop版本的支持已被删除。自2.3.0起，对Scala2.

ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是--Job中间输出结果可以保存在内存中，从而不再

yarncluster模式例行任务一般会采用这种方式运行指定固定的executor数作业常用的参数都在其中指定了，后面的运行脚本会省略spark-submit\--masteryarn-cluster\--deploy-modecluster\#集群运行模式--namewordcount_${date}\

在看sparkContext之前，先回顾一下Scala的语法。Scala构造函数分主构造和辅构造函数，辅构造函数是关键字def+this定义的，而类中不在方法体也不在辅构造函数中的代码就是主构造函数，实例化对象的时候主构造函数都会被执行，例：classperson(nameString,ageInt){println("主

 参考： RDD programming guidehttp://spark.apache.org/docs/latestdd-programming-guide.html SQL programming guidehttp://spark.apache.org/docs/latest/sql-programming-guide.html  we highly recommend you to switch to use Dataset, which has

一、兼容问题Spark运行在Java8+，Python2.7+/3.4+和R3.1+上。对于ScalaAPI，Spark2.4.2使用Scala2.12。您需要使用兼容的Scala版本（2.12.x）。请注意，自Spark2.2.0起，对2.6.5之前的Java7，Python2.6和旧Hadoop版本的支持已被删除。自2.3.0起，对Scala2.10的支持被删除。

packagecom.javartisan.demoimportorg.apache.spark.sql.SparkSessionobjectSparkLocal{defmain(args:Array[String]):Unit={valspark=SparkSession.builder().master("local[*]").appName("sparktest").getOrCreate()importspar

一、sparkstreaming和storm有何区别？一个实时毫秒，一个准实时亚秒，不过storm的吞吐率比较低。 二、spark有哪些组件？Master：管理集群和节点，不参与计算。Worker：计算节点，进程本身不参与计算，和master汇报。Driver：运行程序的main方法，创建sparkcontext对象。Sparkcontext：控制整

本教程源于2016年3月出版书籍《Spark原理、机制及应用》，如有兴趣，请支持正版书籍。随着互联网为代表的信息技术深度发展，其背后由于历史积累产生了TB、PB甚至EB级数据量，由于传统机器的软硬件不足以支持如此庞大的数据量的存储、管理及分析能力，因而专门应对大数据的分布式处理技

♥️大数据开发是干什么的？大数据作为时下火热的IT行业的词汇，随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据开发也应运而生。大数据开发其实分两种，第一类是编写一

专注于编程、互联网动态。最终将总结的技术、心得、经验（包括但不局限于:数据结构与算法、框架、分布式、高并发、jvm、源码分析等等）分享给大家，这里不只限于技术！还有职场心得、生活感悟、以及面经。微信搜索公众号 "java大数据修炼之道"，关注公众号，你想要的第一时间送达！ 先

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等

第一：什么是大数据来看看维基百科的定义大数据（英语：Bigdata或Megadata），或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。在总数据量相同的情况下，与个别分析独立的小型数据集相比，