如何解决在python代码中的何处添加spark命令
我对这个火花python世界非常陌生,所以我还有另一个问题。很高兴知道我可以用spark shell或python代码编写spark命令,所以:
pyspark --packages com.datastax.spark:spark-cassandra-connector_2.11:2.5.1\
--files path_to/secure-connect-test.zip \
--conf spark.cassandra.connection.config.cloud.path=secure-connect-test.zip \
--conf spark.cassandra.auth.username=UserName \
--conf spark.cassandra.auth.password=Password \
--conf spark.dse.continuousPagingEnabled=false
这部分代码,如果要在python代码中编写,是否必须使用os.environ命令添加它?我已经看到了一些使用该命令的帖子,但是它们添加了一个变量。谢谢
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。