无法产生从Windows在WSL 2上运行的Kafka主题

如何解决无法产生从Windows在WSL 2上运行的Kafka主题

我正在Ubuntu WSL2上成功运行最新的Kafka。我可以在WSL上运行的Ubuntu中启动Zookeeper，kafka服务器，创建主题，创建控制台和使用控制台。但是，当我在Windows上进入Intellij并创建一个简单的Java Producer时，它似乎无法连接到代理

版本和主机名

    Java version: 1.8
    Kafka Version: 2.6
    hostname (from Ubuntu): KDAAPPDEV04
    hostname (from Powershell): KDAAPPDEV04
    java.net.InetAddress.getLocalHost().getHostName() = KDAAPPDEV04
    java.net.InetAddress.getLocalHost().getCanonicalHostName() = KDAAPPDEV04
    netstat from CMD:
        TCP    [::1]:9092             [::]:0                 LISTENING

server.properties 我在另一个SO答案中找到了此设置，但这些设置对我不起作用。

advertised.listeners=PLAINTEXT://127.0.0.1:9092
listener.security.protocol.map=PLAINTEXT:PLAINTEXT
listeners=PLAINTEXT://0.0.0.0:9092

然后尝试了（并重新启动了zookeeper和kafka）

advertised.listeners=PLAINTEXT://KDAAPPDEV04:9092
listener.security.protocol.map=PLAINTEXT:PLAINTEXT
listeners=PLAINTEXT://0.0.0.0:9092

制作人

我使用三个不同的值来运行此生产者：主机名，本地主机和127.0.0.1，但它从未连接到代理

    public class ProducerDemo{

    private static Logger logger = LoggerFactory.getLogger(ProducerDemo.class);

    public static void main(String[] args) throws UnknownHostException{

        System.out.println(InetAddress.getLocalHost().getHostName());
        System.out.println(InetAddress.getLocalHost().getCanonicalHostName());

        String bootstrapServers = "127.0.0.1:9092";
//        String bootstrapServers = "localhost:9092";
//        String bootstrapServers = "KDAAPPDEV04:9092";

        //create Producer properties
        Properties properties = new Properties();
        properties.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,bootstrapServers);
        properties.setProperty(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());
        properties.setProperty(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());

        //create the producer
        KafkaProducer<String,String> producer = new KafkaProducer<String,String>(properties);

        //create a producer record
        ProducerRecord<String,String> record = new ProducerRecord<String,String>("first-topic","hola mundo");

        //send data
        producer.send(record);

        //flush + close
        producer.flush();
        producer.close();
    }
}

错误

[main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka version: 2.6.0
[main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka commitId: 62abe01bee039651
[main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka startTimeMs: 1601666175706
[kafka-producer-network-thread | producer-1] WARN org.apache.kafka.clients.NetworkClient - [Producer clientId=producer-1] Connection to node -1 (KDAAPPDEV04/my-ipconfig-address-here:9092) could not be established. Broker may not be available.

解决方法

我遇到了您遇到的确切问题，我解决了如下问题：

我在 WSL2 Ubuntu shell 中运行了以下命令： ip地址| grep“eth0” 我记下了 inet 属性的 IP 地址，例如 172.27.10.68
在我的 Kafka server.properties 中，我替换了 listeners 属性值，如下所示：听众=PLAINTEXT://172.27.10.68:9092 我注释掉了advertised.listeners 属性。但你也可以分配将此属性有问题的 ip，并将 listeners 属性设置为 0.0.0.0。但我假设您使用 Kafka 安装进行测试/学习，所以我会保持简单。
我没有更改 Zookeeper 的默认 ip:port
我正在使用 Schema Registry，因此我修改了 Kafka bootstrap 属性，如下所示： kafkastore.bootstrap.servers=PLAINTEXT://172.27.10.68:9092 我没有更改默认架构注册表侦听器 listeners=http://0.0.0.0:8081
我在 IntelliJ Kafka Producer 中使用了相同的 ip（如上所列）。然后它很高兴地连接到我在 WSL2 中的 Kafka 代理。

有关 WSL2 网络的更多信息，请访问 https://docs.microsoft.com/en-us/windows/wsl/compare-versions。

此设置的唯一问题是每次关闭或重新启动 Windows 计算机，或关闭 Ubuntu 终端时，eth0 的 IP 地址都会更改。这导致重做第 2、4 和 5 步。我确信有更好的方法，但我尝试的所有方法都失败了，除了这个。

有同样的问题。根本原因似乎是 WSL2 在 IPv6 和 localhost 方面被破坏（参见：https://github.com/microsoft/WSL/issues/4851）

我发现不涉及每次重新启动时更改配置的唯一解决方法（根据上面的“172.*”建议）是在 Linux 和Windows 中的 Java 客户端。

在 server.properties 中我有这个：

listeners=PLAINTEXT://[::1]:9092

同样在我使用的 Java 客户端引导服务器配置中

"[::1]:9092"

WSL2在虚拟机管理程序中运行，您需要打开防火墙规则才能从Windows主机进行连接

Kafka和Zookeeper在Windows中正常运行，因此不清楚您希望WSL2提供什么内容

这不是最佳解决方案，但是如果您在Ubuntu / WSL中运行生产者，则可以进行连接。这意味着如果您使用的是Windows IDE，编写代码，切换到Ubuntu并使用命令行编译器并运行生产程序。参见这篇帖子Error connecting to kafka server via IDE in WSL2

WSL2 在管理程序上运行，您需要端口代理来连接在 WSL2 上运行的 Kafka Broker。

第 1 步。使用以下命令检查您的 WSL2 IP 并复制 inet 值

$ ifconfig
inet 172.X.X.X

第 2 步。使用管理员权限打开 cmd

   netsh interface portproxy add v4tov4 listenport=9092 listenaddress=0.0.0.0 connectport=9092 connectaddress=172.X.X.X

您现在应该可以连接

注意：每次重启机器时WSL2 IP都会改变

无法产生从Windows在WSL 2上运行的Kafka主题

如何解决无法产生从Windows在WSL 2上运行的Kafka主题

解决方法

相关推荐