如何解决由于异常而无法运行spark-nlp:发送网关的端口号之前,Java网关进程已退出
我在Ubuntu VM上通过Jupyter运行有效的Pyspark安装。
只有一个Java版本(openjdk version "1.8.0_265"
),我可以像这样运行本地Spark(v2.4.4)会话,而不会出现问题:
import pyspark
from pyspark.sql import SparkSession
memory_gb = 24
conf = (
pyspark.SparkConf()
.setMaster('local[*]')
.set('spark.driver.memory','{}g'.format(memory_gb))
)
spark = SparkSession \
.builder \
.appName("My Name") \
.config(conf=conf) \
.getOrCreate()
现在,我要使用spark-nlp
。我已经在我的Pyspark所在的虚拟环境中使用spark-nlp
安装了pip install spark-nlp
。
但是,当我尝试使用它时,出现错误Exception: Java gateway process exited before sending its port number
。
我尝试遵循documentation here中的说明,但没有成功。
这样做
spark = SparkSession \
.builder \
.appName("RevDNS Stats") \
.config(conf=conf) \
.config("spark.jars.packages","com.johnsnowlabs.nlp:spark-nlp_2.11:2.5.5")\
.getOrCreate()
仅会导致上述错误。
我该如何解决?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。