如何解决PySpark Juypter笔记本电脑显示器
我对jupyter笔记本电脑还很陌生,我正努力以类似于普通熊猫数据框(图2)的整洁方式展示我的火花表(图1)。我试图不使用熊猫。
显示功能在spark数据框上不起作用:(有人可以帮我吗?这将使我更容易分析spark表。
解决方法
构建Spark会话时,添加配置。
.config("spark.sql.repl.eagerEval.enabled",True)
例如,
import findspark
findspark.init()
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.master("local") \
.config("spark.sql.repl.eagerEval.enabled",True) \
.getOrCreate()
并仅按以下方式调用不带.show
的数据框
df
将以这种方式打印结果。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。