如何解决使用pyspark将数据输入Neo4j
我想使用pyspark将数据提供给NEo4j。我是pyspark的新手,因为我曾经使用scala和spark进行编码。我遇到了如何使用pyspark将数据写入neo4j,如下所示。
df.write \
.format("org.neo4j.spark.DataSource") \
.mode("ErrorIfExists") \
.option("url","bolt://localhost:7687") \
.option("labels",":Person") \
.save()
但是我不知道如何使用pyspark创建上面的“ df”。用于创建“ df”的scala代码如下所示。
import org.apache.spark.sql.{SaveMode,SparkSession}
import scala.util.Random
val spark = SparkSession.builder().getOrCreate()
import spark.implicits._
case class Point3d(`type`: String = "point-3d",srid: Int,x: Double,y: Double,z: Double)
case class Person(name: String,surname: String,age: Int,livesIn: Point3d)
val total = 10
val rand = Random
val ds = (1 to total)
.map(i => {
Person(name = "Andrea " + i,"Santurbano " + i,rand.nextInt(100),Point3d(srid = 4979,x = 12.5811776,y = 41.9579492,z = 1.3))
}).toDS()
有人可以帮助我摆脱上述问题吗?还需要进行任何配置以将neo4j与pyspark连接吗?您的帮助将不胜感激。
编辑-: 实际上,我只想要一个简单的示例,将数据从pyspark写入neo4j。(不完全将上面的scala代码转换为pyspark)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。