如何解决如何通过pyspark连接到远程Cassandra服务器以在cassandra中写入数据?
我正在尝试通过pyspark连接到远程Cassandra服务器,但是在运行cronjob时,它没有在Cassandra中执行写操作。相同的代码在jupyter笔记本上的服务器上有效,但不能通过cronjob。
os.environ['PYSPARK_SUBMIT_ARGS'] = '--master local[*] pyspark-shell --packages com.datastax.spark:spark-cassandra-connector_2.12:2.5.0 --conf spark.cassandra.connection.host=127.0.0.1 pyspark-shell --conf spark.sql.extensions=com.datastax.spark.connector.CassandraSparkExtensions'
from pyspark import SparkContext sc = SparkContext("local","keyspace_name")
sqlContext = SQLContext(sc)
Data_to_Write.write.format("org.apache.spark.sql.cassandra").mode('append')\
.options(table="tablename",keyspace="keyspace_name").save()
我在cassandra日志中看到此错误:错误[Messaging-EventLoop-3-3] 2020-08-05 09:24:36,606 OutboundConnectionInitiator.java:373-无法与对等xx.xxx.xxx.xxx握手:9042(xx.xxx.xxx.xxx:9042)org.apache.cassandra.net.Crc $ InvalidCrc –
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。