如何解决在EMR Jupyterhub Notebook上的Pyspark内核中无法进行图形化可视化
我试图在EMR Jupyterhub Notebook上使用plotly绘制图形,但是这些图形未在Pyspark内核中呈现。 (注意:Python内核可以很好地渲染图)
我正在尝试的示例代码:
data_canada = px.data.gapminder().query("country == 'Canada'")
fig = px.bar(data_canada,x='year',y='pop')
fig.show()
I am able to plot a graph with %%display sparkmagic however I am not able to figure out if we can get plotly working with %%display sparkmagic -
import random
data = [('Person:%s' % i,i,random.randint(1,5)) for i in range(1,50)]
columns = ['Name','Age','Random']
spark_df = spark.createDataFrame(data,columns)
%%display
spark_df
有人尝试成功吗?请告知。
解决方法
这是sparkmagic的局限性。您将不得不诉诸axios.get
魔术。来自Sparkmagic docs。
由于所有代码都是通过Livy在远程驱动程序上运行的,因此所有结构化数据都必须 被序列化为JSON并由Sparkmagic库解析,以便可以 在客户端进行操纵和可视化。实际上,这意味着您 必须在%% local模式下使用Python进行客户端数据操作。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。