如何解决如何从pyspark导入“ spark”?
我正在尝试测试一个实用函数,该函数接受spark DataFrame并在进行一些转换后输出一个新的spark DataFrame。在尝试模拟测试数据时,我需要为输入构造一个pyspark数据框。我看到的大多数使用这种方式的例子
spark.createDataFrame(data,columns)
我对文档不太熟悉,找不到“火花”。您如何from pyspark* import spark
?
解决方法
spark
是创建为-
SaprkSession
的实例
spark = SparkSession.builder \
.master("local") \
.appName("Word Count") \
.config("spark.some.config.option","some-value") \
.getOrCreate()
请遵循-pyspark文档here
,我认为您正在寻找一种方法来获取spark
会话变量,对吗?
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.master("local") \
.getOrCreate()
您可以使用多个选项修改会话构建器。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。