如何解决在Databricks上安装GeoMesa
我正在尝试在Azure Databricks(Databricks版本6.6 / Scala 2.11)中安装GeoMesa-尝试遵循this tutorial
如上所述,我已使用Maven坐标org.locationtech.geomesa:geomesa-spark-jts_2.11:2.3.2
在DataBricks中安装了GeoMesa。
但是,当我运行import org.locationtech.geomesa.spark.GeoMesaSparkKryoRegistrator
时,它告诉我找不到它。
本教程中的所有其他导入都可以正常工作:
import org.locationtech.jts.geom._
import org.locationtech.geomesa.spark.jts._
我看了看Geomesa的github,看来这是正确的位置。
我对Java / Scala / Jars不太熟悉。
不知道我还有什么其他方法可以解决这个问题。
谢谢您的帮助!
解决方法
好问题!本教程似乎有一个小错误。 GeoMesaSparkKryoRegistrator用于管理Spark中SimpleFeatures的序列化。
本教程似乎并未使用SimpleFeatures(至少从2020年8月开始)。因此,这种导入可能是不必要的。您应该可以通过跳过该导入以及GeoMesaSparkKryoRegistrator的注册来进行升级。
导入的模块仅提供实现Spark中基本几何支持所需的空间类型和功能。为了利用Spark中的GeoMesa数据存储,可以导入特定于GeoMesa数据库的Spark运行时jar。由于这些数据存储区使用的是GeoTools SimpleFeatures,因此这些jar将包含GeoMesaSparkKryoRegistrator,其使用方式将与该笔记本和geomesa.org中的内容类似。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。