Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也
【kafka消息里会有乱序消费的情况吗？如果有，是怎么解决的？】
文章浏览阅读1.2k次，点赞23次，收藏23次。消息乱序消费，一般指我们消费者应用程序不按照，上游系统 业务发生的顺序，进行了业务消息的颠倒处理，最终导致消费业务出错。_kafka 消费 由于消费端的不同的机器性能,导致消费乱序了
Kafka数据同步原理详解
文章浏览阅读2.4k次，点赞5次，收藏4次。Kafka是一种分布式的消息队列系统，它具有高吞吐量、可扩展性和分布式特性等优势。在Kafka中，数据按照主题进行分区，每个主题都有一组分区。每个分区都有自己的生产者和消费者，生产者负责向分区中写入消息，消费者负责从分区中读取消息。因此，Kafka的数据同步主要涉及到生产者和消费者之间的数据传输以及副本同步。_kafka 同步数据
Kafka简单入门02——ISR机制
文章浏览阅读1.4k次。kafka简单入门_kafka isr
腾讯技术官倾力打造，Kafka部署实战宝典，开源分享，不容错过
文章浏览阅读768次，点赞16次，收藏27次。Kafka的探讨就在这里，只能展示部分内容，实际上笔记内详细记载了Kafka的实践内容，包括大量的代码实现形式。如果你对自己的职业生涯有清晰的规划路线，想要往更长远的方向去发展，那么学习Kafka，想必刻不容缓。获取方式：需要这份Kafka笔记的朋友添加下方名片联系方式免费获取。
多个消费者订阅一个Kafka的Topic(使用KafkaConsumer和KafkaProducer)
文章浏览阅读7.4k次，点赞2次，收藏8次。记录：466场景：一个KafkaProducer在一个Topic发布消息，多个消费者KafkaConsumer订阅Kafka的Topic。每个KafkaConsumer指定一个特定的ConsumerGroup，达到一条消息被多个不同的ConsumerGroup消费。_kafka多个消费者消费一个topic
kafka常用命令
文章浏览阅读2.7k次。【代码】kafka常用命令。_查看kafka集群状态
kafka基础知识总结
文章浏览阅读879次，点赞25次，收藏15次。Kafka是一个由Apache软件基金会开发的分布式流处理平台。它最初是为LinkedIn设计的，用于处理大规模的实时日志数据流。Kafka的设计目标是将实时流数据高效地发布、订阅和处理。Kafka是一个基于发布-订阅模式的消息队列系统，可以用于构建实时数据管道和流式处理应用程序。它采用可水平扩展的架构，能够处理大规模的消息流，并保证高吞吐量和低延迟。Topic（主题）：消息发布的类别或名称。Producer（生产者）：负责向指定的Topic发布消息。
记一次Flink通过Kafka写入MySQL的过程
文章浏览阅读1.1k次，点赞20次，收藏28次。这个方法是测试成功了，但是跑了一会儿就出现数据的积压和内存oom了，因为我设定的是1毫秒生产一条数据，写入kafka也需要一定的时间，加上电脑内存不足，有点卡，这个方案也被pass了。总体思路：source -->transform -->sink ,即从source获取相应的数据来源，然后进行数据转换，将数据从比较乱的格式，转换成我们需要的格式，转换处理后，然后进行sink功能，也就是将数据写入的相应的数据库DB中或者写入Hive的HDFS文件存储。至此，Transform_1部分结束~~~！
踩坑（5）整合kafka 报错 java.net.UnknownHostException: 不知道这样的主机
文章浏览阅读1.8k次。整合kafka 报错 java.net.UnknownHostException: 不知道这样的主机_kafka 不知道这样的主机
实时计算大作业kafka+zookeeper+storm+dataV
文章浏览阅读1.1k次，点赞17次，收藏24次。经过进一步的探究，原因是我打包有问题，一开始不清楚该如何打包，我使用的都是传统的打包方式，那种方式只是将java文件编译了一遍放入jar包中，相关的依赖包都没有导入，后来又使用了idea自带的打包方式，也有这种问题。else if (detail.getTrade_platform().equals("国泰君安证券")) {// String[] values = value.split(",");
【Spring从成神到升仙系列 二】2023年再不会 IOC 源码，就要被淘汰了
文章浏览阅读4k次，点赞54次，收藏74次。对于Java开发者而言，关于 Spring ，我们一般当做黑盒来进行使用，不需要去打开这个黑盒。但随着目前程序员行业的发展，我们有必要打开这个黑盒，去探索其中的奥妙。本期 Spring 源码解析系列文章，将带你领略 Spring 源码的奥秘。本期源码文章吸收了之前 Kafka 源码文章的错误，将不再一行一行的带大家分析源码，我们将一些不重要的部分当做黑盒处理，以便我们更快、更有效的阅读源码。废话不多说，发车！
Mac 下使用 docker 搭建 kafka环境
文章浏览阅读848次。由于 kafka 依赖 zookeeper，因此需要使用 docker 同时安装 zookeeper 和 kafka。_mac docker kafka
Canal+Kafka+springboot（成功）
文章浏览阅读1k次，点赞23次，收藏19次。版本（Canal1.1.7）Kafka（kafka_2.12-3.5.1） mysql(8.0)_springboot canal kafka
实战Flink Java api消费kafka实时数据落盘HDFS
文章浏览阅读1.4k次，点赞15次，收藏16次。在Java api中，使用flink本地模式，消费kafka主题，并直接将数据存入hdfs中。_flink 消费kafka java
Kafka中的max-poll-records和listener.concurrency配置
文章浏览阅读1.4k次，点赞15次，收藏29次。Kafka中的max-poll-records和listener.concurrency配置_max-poll-records
【Kafka-3.x-教程】-【三】Kafka-Broker、Kafka-Kraft
文章浏览阅读1.4k次，点赞29次，收藏18次。1、Broker 启动后向 ZK 进行注册，ZK 记录好存活的 Broker。2、每个 Broker 中都有 Controller，谁的 Controller 先注册谁就是 Controller Leader。3、Controller Leader 上线后监听已经注册的 Broker 节点的变化。4、Controller 开始选举 Leader（1）选举规则：在 ISR 中存活着的节点，按照 AR 中排在前面的优先，Leader 也会按照 AR 中的排列顺序进行轮询。（2）AR：Kafk
【Kafka系列】生产级集群参数配置
文章浏览阅读1k次，点赞23次，收藏26次。本文将从 Bocker 端参数、Topic 级别参数、JVM 端参数、操作系统级别参数分别介绍 Kafka 集群参数应该怎么配置。文中提到的这些参数都很重要，请读者仔细阅读理解，因为有些配置并未体现在官方文档中，并且从实际表现看，很多参数对系统的影响要比从文档上看更加明显。
kubesphere部署kafka单点
文章浏览阅读1.8k次。【代码】kubesphere部署kafka单点。_kubesphere 部署kafka单机
Elk+Filebeat+Kafka实现日志收集
文章浏览阅读1.2k次，点赞10次，收藏9次。【代码】Elk+Filebeat+Kafka实现日志收集。_filebeat+kafka收集多个服务日志
关于kafka消费者超时配置
文章浏览阅读4.1k次。1. 在 Spring Boot 的配置文件（如 `application.properties` 或 `application.yml`）中添加 Kafka 消费者相关的配置项。在上述示例中，`spring.kafka.consumer.properties.max.poll.interval.ms` 设置了消费者的最大轮询间隔时间为 5000 毫秒（即 5 秒）。2. 创建 Kafka 消费者的配置类，用于自定义消费者的属性。在Kafka中，消费者超时配置是指消费者在等待服务器响应时的超时时间。_kafka设置超时时间
kafka：java集成 kafka(springboot集成、客户端集成)
文章浏览阅读4.2k次，点赞7次，收藏16次。对于java的kafka集成，一般选用springboot集成kafka，但可能由于对接方kafka老旧、kafka不安全等问题导致kafak版本与spring版本不兼容，这个时候就得自己根据kafka客户端api集成了。_java集成kafka
保障效率与可用，分析Kafka的消费者组与Rebalance机制
文章浏览阅读1.4w次，点赞144次，收藏138次。我们上一期从可靠性分析了消息可靠性方面来分析Kafka的机制与原理，知晓了Kafka为了保障消息不丢失、不重复，所作出的种种设计。今天我们来讲关于Kafka在消费端所作出的一些机制与原理_kafka消费者组的作用
【kafka】windows安装启动
文章浏览阅读626次。快速打开window powershell： window+x，选。—注意kafka和zookeeper需要版本匹配。_kafka_2.12-3.6.0 安装
kafka（一）——简介
文章浏览阅读1.2k次，点赞21次，收藏20次。Kafka 是一种分布式、支持分区、多副本的消息中间件，支持发布-订阅模式，多用于实时处理大量数据缓存的场景，类似于一个“缓存池”。_kafka_2.13-3.6.1
kafka入门，文件存储机制（十六）
文章浏览阅读1.4k次。topic是逻辑上的概念，而partition是物理上的概念，每个partition对应一个log文件，该log文件中存储就是Producer生产的数据。_kafka log文件
Kafka：生产者压测和消费者压测
文章浏览阅读1.1k次。Kafka：生产者压测和消费者压测_kafka压测
Kafka - 消费进度监控（Consumer Lag）
文章浏览阅读1.2k次，点赞20次，收藏23次。Kafka - 消费进度监控（Consumer Lag）_kafka 消费者监控状态
用好 kafka，你不得不知的那些工具
文章浏览阅读6.5k次，点赞2次，收藏5次。工欲善其事，必先利其器。本文主要分享一下消息中间件 kafka 安装部署的过程，以及我平时在工作中针对 kafka 用的一些客户端工具和监控工具。本文分享了平时我在工作使用 kafka 以及 zookeeper 常用的一些工具，同时分享了 kafka 集群的部署，值得一提的是 kafka 部署配置 zookeeper 地址的时候，我们可以添加一个路径，比如这种方式，那么 kafka 的元数据信息都会放到/kafka这个目录下，以防混淆。_kafka客户端工具
kafka服务端允许生产者发送最大消息体大小
文章浏览阅读4.1k次。kafka服务端允许生产者发送最大消息体大小_kafka单条消息大小配置
【问题解决】Kafka报错 Bootstrap broker x.x.x.x:9092 (id: -1 rack: null) disconnected
文章浏览阅读5.1k次。Kafka报错 Bootstrap broker x.x.x.x:9092 (id: -1 rack: null) disconnected解决思路_bootstrap broker disconnected
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot