为什么我可以读取ksqldb流，但不能读取ksql客户端中的主题？

如何解决为什么我可以读取ksqldb流，但不能读取ksql客户端中的主题？

我正在最新版本（融合版本5.5.1）中的AWS EC2实例上测试ksqldb，并且遇到无法解决的访问问题。

我有一个安全的Kafka服务器（SASL_SSSL，SASL模式PLAIN），一个不安全的模式注册表（Avro Serializers的另一个问题，暂时还可以），以及一个安全的KSQL Server和客户端。

• 使用来自JDBC源连接器的AVRO数据（仅值，无键）正确填充主题。
• 我可以毫无问题地使用ksql访问KSQL Server
• 我可以毫无问题地访问KSQL REST API
• 当我在ksql中列出主题时，我会得到正确的列表。
• 选择推送流时，将某些内容推送到主题中时会收到消息（以Kafka Connect为例）。
• 但是：当我调用“打印主题”时，我在客户端获得了约60秒的阻止时间，随后是“获取主题元数据时超时”。

ksql-kafka.log由于重复输入而变得疯狂

[2020-09-02 18:52:46,246] WARN [Consumer clientId=consumer-2,groupId=null] Bootstrap broker ip-10-1-2-10.eu-central-1.compute.internal:9093 (id: -3 rack: null) disconnected (org.apache.kafka.clients.NetworkClient:1037)

相应的经纪人日志显示

Sep  2 18:52:44 ip-10-1-6-11 kafka-server-start: [2020-09-02 18:52:44,704] INFO [SocketServer brokerId=1002] Failed authentication with ip-10-1-2-231.eu-central-1.compute.internal/10.1.2.231 (Unexpected Kafka request of type METADATA during SASL handshake.) (org.apache.kafka.common.network.Selector)

这是我的ksql-server.properties文件：

ksql.service.id= hf_kafka_ksql_001
bootstrap.servers=ip-10-1-11-229.eu-central-1.compute.internal:9093,ip-10-1-6-11.eu-central-1.compute.internal:9093,ip-10-1-2-10.eu-central-1.compute.internal:9093
ksql.streams.state.dir=/var/data/ksqldb
ksql.schema.registry.url=http://ip-10-1-1-22.eu-central-1.compute.internal:8081
ksql.output.topic.name.prefix=ksql-interactive-
ksql.internal.topic.replicas=3
confluent.support.metrics.enable=false

# currently the keystore contains only the ksql server and the certificate chain to the CA
ssl.keystore.location=/var/kafka-ssl/ksql.keystore.jks
ssl.keystore.password=kspassword
ssl.key.password=kspassword
ssl.client.auth=true
# Need to set this to empty,otherwise the REST API is not accessible with the client key.
ssl.endpoint.identification.algorithm=

# currently the truststore contains only the CA certificate
ssl.truststore.location=/var/kafka-ssl/client.truststore.jks
ssl.truststore.password=ctpassword

security.protocol=SASL_SSL
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required \
    username="ksql" \
    password="ksqlsecret";
listeners=https://0.0.0.0:8088
advertised.listener=https://ip-10-1-2-231.eu-central-1.compute.internal:8088

authentication.method=BASIC
authentication.roles=admin,ksql,cli
authentication.realm=KsqlServerProps

# authentication for producers,needed for ksql commands like "Create Stream"
producer.ssl.endpoint.identification.algorithm=HTTPS
producer.security.protocol=SASL_SSL
producer.sasl.mechanism=PLAIN
producer.ssl.truststore.location=/var/kafka-ssl/client.truststore.jks
producer.ssl.truststore.password=ctpassword
producer.sasl.mechanism=PLAIN
producer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required \
    username="ksql" \
    password="ksqlsecret";

# authentication for consumers,needed for ksql commands like "Create Stream"
consumer.ssl.endpoint.identification.algorithm=HTTPS
consumer.security.protocol=SASL_SSL
consumer.ssl.truststore.location=/var/kafka-ssl/client.truststore.jks
consumer.ssl.truststore.password=ctpassword
consumer.sasl.mechanism=PLAIN
consumer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required \
    username="ksql" \
    password="ksqlsecret";

我通过以下方式呼叫ksql

ksql --user cli --password test --config-file /var/kafka-ssl/ksql_cli.properties https://ip-10-1-2-231.eu-central-1.compute.internal:8088'

这是我的ksql客户端配置ksql_cli.properties：

security.protocol=SSL
#ssl.client.auth=true
ssl.truststore.location=/var/kafka-ssl/client.truststore.jks
ssl.truststore.password=ctpassword
ssl.keystore.location=/var/kafka-ssl/ksql.keystore.jks
ssl.keystore.password=kspassword
ssl.key.password=kspassword

JAAS配置，在服务启动时作为参数提供

KsqlServerProps {
  org.eclipse.jetty.jaas.spi.PropertyFileLoginModule required
  file="/var/kafka-ssl/cli.password"
  debug="false";
};

带有cli.password，其中包含ksql客户端的身份验证用户和密码。

我通过以下方式呼叫ksql

ksql --user cli --password test --config-file /var/kafka-ssl/ksql_cli.properties https://ip-10-1-2-231.eu-central-1.compute.internal:8088'

我可能尝试过按键，设置等的任何排列，但无济于事。显然，密钥管理中有些问题。对我来说，令人惊讶的是，使用流可以，但低级主题却不能。

有人找到了解决该问题的方法吗？我在这里真的有很多想法。谢谢。

解决方法

找到了！很容易忽略-当然，客户端的配置需求也是如此。 SASL设置...

security.protocol=SASL_SSL