如何保证消息的可靠性传输（如何处理消息丢失的问题）？这个是肯定的，用mq有个基本原则，就是数据不能多一条，也不能少一条，不能多，就是刚才说的重复消费和幂等性问题。不能少，就是说这数据别搞丢了。那这个问题你必须得考虑一下。如果说你这个是用mq来传递非常核心的消息，比如说计费，扣费的

我这里的安装目录是：/home/bigdata/kafka，节点名称为localhadoop1进入安装目录后输入bin/kafka-server-start.shconfig/server.properties&(后台运行)bin/kafka-server-start.shconfig/server.properties(运行)启动生产者模式bin/kafka-console-producer.sh--br

Kafka是一个分布式发布订阅消息系统。由LinkedIn开发并已经在2011年7月成为apache顶级项目。kafka在LinkedIn,Twitte等许多公司都得到广泛使用，主要用于：日志聚合，消息队列，实时监控等。0.8版本开始，kafka支持集群内复制，从而提高可用性和系统稳定性，这篇文章主要概述kafka复制

如果你恰好在学大数据，想要通过本篇文章就学好大数据，我建议你可以把页面关闭掉，大数据是入门学容易，达到高薪是绝对需要系统学习的，当然如果你想着通过大数据提高你的收入，可以详细阅读我推荐的文章推荐阅读文章大数据工程师在阿里面试流程是什么？学习大数据需要具备怎么样基础？年

http://kafka.apache.org/090/documentation.htmlKafka概述   和消息系统类似   消息中间件：生产者和消费者   妈妈：生产者   你：消费者   馒头：数据流、消息      正常情况下：生产一个 消费一个      其他情况：        

Kafka作为大数据最核心的技术，作为一名技术开发人员，如果你不懂，那么就真的“out”了。DT时代的快速发展离不开kafka，所以了解kafka，应用kafka就成为一种必须。  什么是kafka?Kafka是一个分布式流平台，用于发布和订阅记录流。Kafka可以用于容错存储。Kafka将主题日志分

为了实现远程kafka通信，我可谓是呕心沥血。期间各种bug各种调，太煎熬了(T.T)介绍：我用一台虚拟机作为远程消息的发送方，用本地电脑主机作为消息的接收方虚拟机：安装java，kafka，zookeeper主机：eclipse，注意我没有说在主机上也要安装kafka的 1、虚拟机部署1）下载kafka_2.11-2.2.0

一项目背景二项目架构与环境2.1项目架构2.2项目环境三项目实现3.1数据模拟3.1.1数据结构3.1.2编写代码3.1.3测试3.2数据采集3.2.1编写代码3.2.2测试3.3数据建模3.3.1编写代码3.3.2测试3.4数据预测3.4.1编写代码3.4.2测试四项目总结小段子分享：有个人姓铁，他不

<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.

作者介绍郑杰文，腾讯云存储，高级后台工程师，2014年毕业加入腾讯，先后从事增值业务开发、腾讯云存储开发。对业务性、技术平台型后台架构设计都有深入的探索实践。对架构的海量并发、高可用、可扩展性都有相当的经验，目前主要研究分布式领域和存储领域。Kafka是一个分布式消息队列，具

在最近的一些项目中，我使用ApacheKafka开发了一些数据管道。在性能测试方面，数据生成总是会在整个活动中引入一些样板代码，例如创建客户端实例，编写控制流以发送数据，根据业务逻辑随机化有效负载等等。在测试设置期间，拥有一个处理所有繁重工作的框架会很好，因此只需要回答两个基本和基

Kafka是啥？用Kafka官方的话来说就是：Kafkaisusedforbuildingreal-timedatapipelinesandstreamingapps.Itishorizontallyscalable,fault-tolerant,wickedfast,andrunsinproductioninthousandsofcompanies.大致的意思就是，这是一个实时数据处理系统，可以横

一、背景    最近项目中使用Flink消费kafka消息，并将消费的消息存储到mysql中，看似一个很简单的需求，在网上也有很多flink消费kafka的例子，但看了一圈也没看到能解决重复消费的问题的文章，于是在flink官网中搜索此类场景的处理方式，发现官网也没有实现flink到mysql的Exactly-Once

关于Kafka日志留存(logretention)策略的介绍，网上已有很多文章。不过目前其策略已然发生了一些变化，故本文针对较新版本的Kafka做一次统一的讨论。如果没有显式说明，本文一律以Kafka1.0.0作为分析对象。所谓日志留存策略，就是Kafka保存topic数据的规则，我将按照以下几个

一直以来都想写一点关于kafkaconsumer的东西，特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本，笔者也觉得时机成熟了，于是写下这篇文章讨论并总结一下新版本consumer的些许设计理念，希望能把consumer这点事说清楚，从而

在上篇的例子里(【Kafka】《Kafka权威指南》——写数据)，ProducerRecord对象包含了目标主题、键和值。Kafka的消息是一个个键值对，ProducerRecord对象可以只包含目标主题和值，键可以设置为默认的null，不过大多数应用程序会用到键。键有两个用途:可以作为消息的附加信息，也可以