如何解决如何将SnowflakeCursor转换为pySpark数据框
将SQL发送到Snowflake的结果是SnowflakeCursor。我如何轻松地将其转换为pySpark数据框?
谢谢!
解决方法
使用Databricks(https://docs.databricks.com/data/data-sources/snowflake.html)时,我们可以使用spark.read将SQL语句的结果加载到数据帧中。请注意,指定sfRole可能是获得对数据库对象的访问权限的关键。
options = {
"sfUrl": "https://yourinstance.snowflakecomputing.com/","sfUser": user,"sfPassword": pw,"sfDatabase": "db","sfSchema": "schema","sfRole": "Accountadmin","sfWarehouse": "wh"
}
df = spark.read \
.format("snowflake") \
.options(**options) \
.option("query",strCheckingSQL) \
.load()
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。