Kubernetes集群-无法从在多VM k8s集群中的另一个Pod中运行的Spring Boot服务访问在Pod中运行的Kafka代理

如何解决Kubernetes集群-无法从在多VM k8s集群中的另一个Pod中运行的Spring Boot服务访问在Pod中运行的Kafka代理

我有一个在多VM环境（私有云-具有我们自己的Kubernetes集群-4节点集群）中运行的Kafka代理。

我创建了一个Spring Boot应用程序，该应用程序的发布者必须将消息发布到Kafka代理中的Kafka主题。我有两个容器（Kafka broker和spring boot应用程序）都在同一个Kubernetes集群中运行。

我无法通过提供Kafka的服务名称：发布者的bootstrap.servers中的端口ID来访问Kafka代理（在同一k8s集群中运行）

Spring Boot的发布者配置：

 props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"kafka-svc:9092");- -> not working 

集群信息：

kafka-broker yaml文件：

    apiVersion: extensions/v1beta1
    kind: Deployment
    metadata:
      name: kafka-deploy
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: kafka
      template:
        metadata:
          labels:
            app: kafka
        spec:
          containers:
          - env:
            - name: KAFKA_PORT
              value: "9092"
            - name: KAFKA_ADVERTISED_PORT
              value: "9092"
            - name: KAFKA_ADVERTISED_HOST_NAME
              value: kafka-svc
            - name: KAFKA_CREATE_TOPICS
              value: "test:1:1"
            - name: KAFKA_ZOOKEEPER_CONNECT
              value: zookeeper-svc:2181
            - name: KAFKA_BROKER_ID
              value: "1"
            name: kafka
            image: wurstmeister/kafka
            ports:
            - containerPort: 9092
    ------
       apiVersion: v1
       kind: Service
       metadata:
         name: kafka-svc
       spec:
         type: NodePort
         ports:
         - port: 9092
           targetPort: 9092
           name: http
           protocol: TCP
         selector:
           app: kafka
           kafka-broker-id: "1"

当我尝试向Kafka主题推送字符串消息时，出现以下异常：

"2020-08-18 13:28:04.525  INFO 1 --- [nio-8080-exec-1] o.a.kafka.common.utils.AppInfoParser     : Kafka startTimeMs: 1597757284523
2020-08-18 13:29:04.539 ERROR 1 --- [nio-8080-exec-1] o.s.k.support.LoggingProducerListener    : Exception thrown when sending a message with key='null' and payload='TEST' to topic test:

org.apache.kafka.common.errors.TimeoutException: Topic test not present in metadata after 60000 ms.

2020-08-18 13:29:04.544 ERROR 1 --- [nio-8080-exec-1] o.a.c.c.C.[.[.[/].[dispatcherServlet]    : Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is org.springframework.kafka.KafkaException: Send failed; nested exception is org.apache.kafka.common.errors.TimeoutException: Topic test not present in metadata after 60000 ms.] with root cause

解决方法

您似乎需要先创建 test 主题，然后才能发布任何内容。

您可以查看该主题在您的Kafka群集中是否可用。例如，来自Kafka经纪人窗格之一：

bin/kafka-topics.sh --bootstrap-server localhost:9092 --zookeeper zookeeper-svc:2181 --topic test --describe

或者您可以在Spring Boot应用中创建它：

package io.stockgeeks.kafka.config;

import org.apache.kafka.clients.admin.NewTopic;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.config.TopicBuilder;

@Configuration
public class KafkaTopicConfiguration {
  
  @Bean
  public NewTopic topicExample() {
    return TopicBuilder.name("test")
      .partitions(6)
      .replicas(3)
      .build();
  }
}

✌️

,

谢谢。 我在旋转Kafka-broker pod本身的同时，使用环境变量选项创建了主题测试。因此，我们已经在kafka经纪人系统中进行了主题测试。 我怀疑我们在kubernetes中用于连接到kafka代理的kafka-service配置存在问题。

问题出在我们使用的kafka服务（来自我们的Spring Boot应用程序的发布者）连接到kafka经纪人的主题

当我尝试使用kafka服务连接到kafka经纪人时遇到以下异常

bash-4.4＃kafka-topics.sh --bootstrap-server kafka-svc：9092 --topic测试--describe 执行主题命令时出错：org.apache.kafka.common.errors.TimeoutException：尝试1次后，Call（callName = listTopics，durationMs = 1597833365003）超时于1597833365004 [2020-08-19 10：36：05,027]错误java.util.concurrent.ExecutionException：org.apache.kafka.common.errors.TimeoutException：1次尝试后，Call（callName = listTopics，durationMs = 1597833365003）超时于1597833365004 （s） 在org.apache.kafka.common.internals.KafkaFutureImpl.wrapAndThrow（KafkaFutureImpl.java:45） 在org.apache.kafka.common.internals.KafkaFutureImpl.access $ 000（KafkaFutureImpl.java:32） 在org.apache.kafka.common.internals.KafkaFutureImpl $ SingleWaiter.await（KafkaFutureImpl.java:89） 在org.apache.kafka.common.internals.KafkaFutureImpl.get（KafkaFutureImpl.java:260） 在kafka.admin.TopicCommand $ AdminClientTopicService.getTopics（TopicCommand.scala：333） 在kafka.admin.TopicCommand $ AdminClientTopicService.describeTopic（TopicCommand.scala：288） 在kafka.admin.TopicCommand $ .main（TopicCommand.scala：68） 在kafka.admin.TopicCommand.main（TopicCommand.scala） 由以下原因引起：org.apache.kafka.common.errors.TimeoutException：1次尝试后，Call（callName = listTopics，最后期限Ms = 1597833365003）超时于1597833365004 原因：org.apache.kafka.common.errors.TimeoutException：等待节点分配超时。 （kafka.admin.TopicCommand $） bash-4.4＃

但是，当我尝试通过Zookeeper服务进行连接时，可以得到如下所示的预期结果

***bash-4.4# kafka-topics.sh --zookeeper zookeeper-svc:2181 --topic test --describe
Topic: test   PartitionCount: 1       ReplicationFactor: 1    Configs:
        Topic: test   Partition: 0    Leader: 1       Replicas: 1     Isr: 1
bash-4.4#***