如何解决Spark Cassandra Connector是否可以在K8S环境中从无头服务解析主机名?
Datastax Spark Cassandra连接器采用“ spark.cassandra.connection.host”连接到cassandra群集。
-
我们能否在此参数(“ spark.cassandra.connection.host”)的主机上提供K8S环境中C *群集的无头服务。
-
它将解决联系点吗?
-
使用Spark Cassandra Connector在K8s环境中与C *群集进行连接的首选方式是什么?
解决方法
默认情况下,SCC在第一次连接时将所有提供的联系点解析为IP地址,然后仅使用这些IP地址进行重新连接。初始连接发生后,它将发现集群的其余部分。通常这不是问题,因为SCC应该收到有关节点启动和关闭的通知并跟踪节点IP地址。但是在实践中,可能会发生节点重新启动速度太快,并且没有收到通知的情况,因此使用SCC的Spark作业可能会卡住,试图连接到不再有效的IP地址-我在DC上多次击中/ OS。
release of SCC 2.5.0解决了此问题,该问题包含针对SPARKC-571的修复程序。它引入了一个新的配置参数-spark.cassandra.connection.resolveContactPoints
,当它设置为false
(默认为true
时)将始终使用接触点的主机名进行初始连接和重新连接,从而避免了更改了IP地址。
因此,在K8S上,我将尝试仅在正常的Cassandra部署中使用此配置参数。
,是的,为什么不呢。 Kubernetes官方文档上有good example。您创建一个headless service with a selector:
apiVersion: v1
kind: Service
metadata:
labels:
app: cassandra
name: cassandra
spec:
clusterIP: None
ports:
- port: 9042
selector:
app: cassandra
,基本上,当您指定spark.cassandra.connection.host=cassandra
时(在同一K8s命名空间中,否则,您必须提供Cassandra..svc.cluster.local`,它将解析为Cassandra接触点(Cassandra所在的Pod IP地址)正在运行)
✌️
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。