文章浏览阅读1.7k次。Prometheus监控kafka的三种方式：JMX监控kafka、kafka_exporter监控kafka、Kminion监控kafka。_kafka exporter

文章浏览阅读1.1k次。Splunk Connect for Kafka 可以收集kafka 上面的数据到splunk

文章浏览阅读3.6k次。Kafka消费失败重试10次的问题通常可以通过配置Kafka消费者来调整。在Kafka中，可以通过设置max.poll.interval.ms、fetch.min.bytes、fetch.max.bytes、fetch.max.wait.ms等参数来控制消费者的拉取消息的行为。_kafka重试次数

文章浏览阅读3.6k次，点赞5次，收藏17次。1、下载安装zk，kafka...（大把教程，不在这里过多阐述）8、测试类分别测试单条消费以及批量消费。7、消费者配置类（配置批量消费）5、生产者发消息的工具类。_java消费kafka数据

文章浏览阅读1k次，点赞12次，收藏20次。kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list 命令就能够列出该 Kafka 集群中的全部消费者组。Kafka集群的每个partition都有一个leader，所以一个topic可能有多个leader，分别负责不同的partition。包括每个partition的ID，当前的leader，及副本和ISR（in-sync replica，同步副本）的列表。生产者将事件数据发送到Kafka，而消费者从Kafka读取这些数据。

文章浏览阅读938次。​ 数据缓冲队列。作为消息队列解耦合处理过程，同时提高了可扩展性。具有峰值处理能力，使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。- 1.发布和订阅记录流，类似于消息队列或企业消息传递系统。- 2.以容错持久的方式存储记录流。- 3.处理记录发生的流。

文章浏览阅读3.7k次，点赞7次，收藏23次。KafkaProducer是Kafka-client提供的原生Java Kafka客户端发送消息的API。KafkaTemplate是Spring Kafka中提供的一个高级工具类，用于可以方便地发送消息到Kafka。它封装了KafkaProducer，提供了更多的便利方法和更高级的消息发送方式。_springboot kafka非注解方式

文章浏览阅读826次，点赞21次，收藏25次。我们常常仰望那些大厂的大神们，但要知道，他们也不过是平凡的人，只是比菜鸟程序员多付出了几分心思。如果你不努力，差距只会越拉越大。作为程序员，充实自己的知识和技能是至关重要的。在我看来，付出的努力和回报是成正比的。学习Kafka并不难，这份Kafka限量笔记的内容将会对你的学习大有裨益。如果你想要这份完整的Kafka笔记，只需给我一些支持，我会很乐意分享。获取方式：需要这Kafka笔记的朋友点击文末下方传送门即可获取免费下载路径的方式！

文章浏览阅读1w次，点赞84次，收藏110次。在本篇技术博文中，我们详细地教你如何安装kafka，还有它的可视化工具，中间也列举了一些异常以及它的处理方式，真正做到了手把手教学。那么安装教学就告一段落。在后面的学习中，我们将讲解他们的使用及运行原理，希望同学们能喜欢。_kafka可视化工具

文章浏览阅读1.1w次，点赞33次，收藏130次。(一)、Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。(二)、Kafka 本质上是⼀个消息队列。与zeromq不同的是，Kafka是一个独立的框架而不是一个库。通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量 ：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。_windows安装kafka

文章浏览阅读2.2k次，点赞22次，收藏21次。kafka生产者ack机制和消费者AckMode消费模式、手动提交ACK_spring boot + kafka接收数据并手动提交

文章浏览阅读1.9k次。使用Kafka时，在消息的收发过程中都有可能会出现消息丢失。_kafka如何保证消息不丢失

文章浏览阅读5.4k次，点赞90次，收藏65次。Kafka 是一款开源的分布式流处理平台，被广泛应用于构建实时数据管道、日志聚合、事件驱动的架构等场景。本文将深入探究 Kafka 的基本原理、特点以及其在实际应用中的价值和作用。 Kafka 的基本原理是建立在发布-订阅模式之上的。生产者将消息发布到主题（Topic）中，而消费者则可以订阅这些主题并处理其中的消息。Kafka包括多个关键组件，如生产者、消费者、主题分区、ZooKeeper 等，Kafka 实现了高性能的消息传递和存储。特点：高吞吐量、可持久化存储、水平扩展、容错性和实时性等。

文章浏览阅读1w次，点赞96次，收藏139次。一文详解三大MQ，RabbitMQ、RocketMQ、Kafka，各自的使用、原理和适用场景。_rocketmq和rabbitmq兼容吗

文章浏览阅读1.3w次，点赞38次，收藏125次。我们知道，kafka中每个topic被划分为多个分区，那么生产者将消息发送到topic时，具体追加到哪个分区呢？这就是所谓的分区策略，Kafka 为我们提供了默认的分区策略，同时它也支持自定义分区策略。若发送消息时指定了分区（即自定义分区策略），则直接将消息append到指定分区；若发送消息时未指定 patition，但指定了 key（kafka允许为每条消息设置一个key），则对key值进行hash计算，根据计算结果路由到指定分区，这种情况下可以保证同一个 Key 的所有消息都进入到相同的分区；_springboot kafka

错误的根源是：kafka版本过高所致，2.2+=的版本，已经不需要依赖zookeeper来创建/查看topic，新版本使用--bootstrap-server替换老版本的--zookeeper-server，即可解决。

DWS层主要是存放大宽表数据，此业务中主要是针对Kafka topic “KAFKA-DWD-BROWSE-LOG-TOPIC”中用户浏览商品日志数据关联HBase中“ODS_PRODUCT_CATEGORY”商品分类表与“ODS_PRODUCT_INFO”商品表维度数据获取浏览商品主题大宽表。以上代码执行后在，在对应的Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中都有对应的数据。在Iceberg-DWS层中对应的表中也有数据。

不多BB讲原理，只教你怎么用，看了全网没有比我更详细的了，yml 配置，Config 工厂代码配置都有，batch-size、acks、offset、auto-commit、trusted-packages、poll-timeout、linger 应有尽有，批量消费、开启事务、定义批量消费数量、延时发送、失败重试、异常处理你还想要什么As we all know，当今世界最流行的消息中间件有 RabbitMq、RocketMq、Kafka，其中，应用最广泛的是RabbitMq，RocketMq。

终于写完了，其实最开始学kafka的时候是今年2月份，那时候还不懂什么是IO，看源码的通信基本看不懂后来，花了几个月的时间学了操作系统 --> 计算机网络 --> Linux 通信 --> Java NIO --> Netty，现在看Kafka的通信就变得通透了。另外，基本现在所有源码的通信都有Netty架构的影子所以，如果你也想学源码的话，最好是先看看Netty的相关知识，学完之后，你会发现，通信架构不过如此。如果你能看到这，想必已经跟完了整个Producer网络架构就是整个生产者运行的全部流程。

使用GPKafka实现Kafka数据导入Greenplum数据库踩坑问题记录（不断更新ing）

uniapp 超详细教程（从菜鸟到大佬）

用了100+天总结出来的Flink学习笔记

基于Java API方式使用Kafka

本章我们讲述了Kafka生产端为了避免频繁的GC，创建了缓存池的机制当生产端申请的内存为16KB时，从缓存池中取缓存使用，非16KB则取不可复用的ByteBuffer使用我们在生产中要尽量避免不可复用的ByteBuffer的产生，根据当前的业务去调整batch.size的大小，否则容易造成频繁的GC，影响我们的线上业务。下一章我们将会更新Kafka 生产端的网络 I/O 模型喜欢kafka的可以点个关注吆，后续会继续更新其源码文章。

主要介绍Springboot如何集成Kafka Stream以及微服务项目中如何利用Kafka Stream流式计算实现文章热度实时更新。

评论抽奖送书。你兔老大本系列用大白话，手把手带你实现上百个BAT公司内部真实的常用中型系统。

推荐10个能够提高开发人员开发效率的10个工具

Sentry权限管理hive、hue、hdfs等

在上一篇文章中,我们分析了JoinGropRequest的流程,详细请看Kafka消费者JoinGroupRequest流程解析那么我们知道,在执行完了JoinGroupRequest之后, 所有的Member都对消费组协调器发起了SyncGroupRequest请求那么SyncGroup具体做了哪些事情呢？我们今天来一起分析一下！当我们JoinGroup完成之后, 消费者客户端收到了Response, 然后就会立马发起SyncGroupRequest相关代码如下JoinGroupResponseHandl

以上两个方面中第一个方面需要再Hive中预先创建对应的Iceberg表，才能写入，第二个方面不好分辨topic“KAFKA-DB-BUSSINESS-DATA”中哪些binlog数据是事实数据哪些binlog是维度数据，所以这里我们在mysql 配置表“lakehousedb.dim_tbl_config_info”中写入表信息，这样通过Flink获取此表维度表信息进行广播与Kafka实时流进行关联将事实数据和维度数据进行区分。在Iceberg-ODS层中对应的表中也有数据。...