kafka+sparkStreaming有什么好处：1、解耦       2、缓冲（系统之间解耦合、峰值压力缓冲、异步通信） kafka消息队列的特点：可靠性保证：自己不丢数据，消费者不丢数据消息系统的特点：生产者消费者模式，FIFO  --partition内部是FIFO的，partition之间不是FIFO的，当然我们

Kafka及PyKafka的使用

KafkaKafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，webginx日志、

flume的作用是什么？列出常见的flume的操作flume由agent的source、channel、sink构成，其中source用来采集不同协议的数据,然后将数据存储与channerl中,再通过sink将采集的信息源（来自服务器，页面等），然后将数据进行投递，比如hdfs文件系统，或者将采集的数据输送到kafka的消息队列，进行消息

https://blog.51cto.com/leizhu/2075724 一、环境准备1、软件zookeeper3.4.11 https://www.apache.org/dyn/closer.cgi/zookeeper/kafka1.0.0 https://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka_2.11-1.0.0.tgzjava8 http://www.oracle.comechnetwor

  /etc/init.d$vikafka-start-up.sh#!/bin/bash#exportKAFKA_HOME=$PATHexportKAFKA_HOME=/opt/Kafka/kafka_2.11-1.1.1#chkconfig:23453080#description:kafka#processname:kafkacase$1instart)chmod-R777$KAFKA_HOME/logschmod-R7

一、kafka的存储机制kafka通过topic来分主题存放数据，主题内有分区，分区可以有多个副本，分区的内部还细分为若干个segment。所谓的分区其实就是在kafka对应存储目录下创建的文件夹，文件夹的名字是主题名加上分区编号，编号从0开始。1.segment所谓的segment其实就是在分区对应的

0x00概述kafka将topic分成不同的partitions，每个partition的日志分成不同的segments，最后以segment为单位将陈旧的日志从文件系统删除。假设kafka的在server.properity文件中设置的日志目录为tmp/kafka-logs，对于名为test_perf的topic。假设两个partitions,那么我们可以在tmp/kafka

AsweallknowthatKafkaisveryfast,muchfasterthanmostofitscompetitors.Sowhat’sthereasonhere?AvoidRandomDiskAccessKafkawriteseverythingontothediskinorderandconsumersfetchdatainordertoo.Sodiskaccessalwaysworkssequent

一、基本概念：cleanableRatio：清理比率，可清理的字节大小/该log文件总的字节大小，对应代码：valcleanableBytes=log.logSegments(firstDirtyOffset,math.max(firstDirtyOffset,firstUncleanableOffset)).map(_.size).sumvaltotalBytes=cleanBytes+cleanableBytesvalcleana

实时数据平台（RTDP，Real-timeDataPlatform）是一个重要且常见的大数据基础设施平台。在上篇《实时数据平台设计：解决从OLTP到OLAP实时流转缺失》中，我们从现代数仓架构角度和典型数据处理角度介绍了RTDP，并探讨了RTDP的整体设计架构。 本文作为下篇，则是从技术角度入手，介绍RTDP的

KafkaKafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，webginx日志、

一般地，像kafka之类的消息中间件，作为一个可以保持历史消息的组件，其消费模型一般是主动拉取方式。这是为了给消费者足够的自由，回滚或者前进。然而，也正是由于将消费消息的权力交给了消费者，所以，消费者往往需要承担更多的责任。比如：需要自行保存消费偏移量，以便后续可以知道从哪

一、基本信息说明官网：http://kafka.apache.org快速开始：http://kafka.apache.org/quickstart官网下载：http://kafka.apache.org/downloads中文文档：http://kafka.apachecn.org/W3CSchool:https://www.w3cschool.cn/apache_kafka/Hortonworks:https://hortonworks.com/apache

 supervisor启动的应用有时候需要启动多个实例怎么办呢？写多个配置文件？最方便实用的办法如下。需要起多个实例直接改numprocs的个数就行了。 

>1.Kafka面试问答 ApacheKafka的受欢迎程度很高，Kafka拥有充足的就业机会和职业前景。此外，在这个时代拥有kafka知识是一条快速增长的道路。所以，在这篇文章中，我们收集了ApacheKafka面试中常见的问题，并提供了答案。因此，如果您希望参加ApacheKafka面试，这是一份不错的指南。这将有