在实现分片上传的过程，需要前端和后端配合，比如前后端的上传块号的文件大小，前后端必须得要一致，否则上传就会有问题。其次文件相关操作正常都是要搭建
出品|开源中国【编者按】本文节选自《工程师如何对待开源》，作者谭中意是星策开源社区发起人、中国开源推进联盟副秘书长，同时也是一名在知名科技企业从
团队希望能有一个消息队列可以解决 Kafka 存在的这些问题，同时业务方只需简单修改配置，替换 Kafka 的 broker list 即可迁移
我有幸在 2012 年的时候开始接触大数据，用 Hadoop 1.0 加 Hive 的模式体验了下，当时感觉很神奇的，大数据用几台机器就可以快速
整条流水线由若干个DataNode串联而成，数据由客户端流向PipeLine，在流水线上，假如DataNode A 比 DataNode B 更
数据分析、机器学习、实时计算、音视频检索等都可以从“湖”里汲取数据，从而让数据治理更加便捷高效。在传统行业数字化转型过程中，尤其像在金融行业，全
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上
一、Flink的概念JobManager：它扮演的是集群管理者的角色，负责调度任务、协调 checkpoints、协调故障恢复、收集 Job 的状态信
/第三个参数为复制缓冲区大小，第四个参数复制后是否关闭数据流。//FSDataInputStream实现了Seekable接口允许在文件中定位。也可以
这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只
参数优先级排序：（1）客户端代码中设置的值 >（2）ClassPath下的用户自定义配置文件 >（3）然后是服务器的自定义配置（xxx-site.xm
（7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，
原因比较明显，Hive处理前获取了对应分区下的所有文件信息，其中包含xxx.tmp文件，而传递给MapReduce处理时，由于Flume进行了切换，导
电脑安装java8以上的版本下载hadoop压缩包，演示选用hadoop-2.7.3，解压到本地路径下。
背景：大三上学期，云计算与大数据课程，实验作业环境：VMware + centos7 (*3)任务：本地模式—伪分布式—完全分布式特色：有案例~机器配
