如何解决我需要能够在Scala中导入哪个“ JAR”文件？
当我尝试这样做时：
scala> import org.apache.parquet
错误提示：
<console>:23: error: object parquet is not a member of package org.apache
import org.apache.parquet
问题-我需要在spark conf中包括哪个jar才能进行此导入？
注意，这可以正常工作：
scala> import org.apache.hadoop
import org.apache.hadoop
我可以使用的CDH罐子
$ ls /opt/cloudera/parcels/CDH-5.14.4-1.cdh5.14.4.p3503.3712/jars -al|grep parq
-rw-r--r--. 1 root root 12717 Jun 24 2019 kite-morphlines-hadoop-parquet-avro-1.0.0-cdh5.14.4.jar
-rw-r--r--. 1 root root 106448 Jun 24 2019 parquet-avro-1.5.0-cdh5.14.4.jar
-rw-r--r--. 1 root root 25490 Jun 24 2019 parquet-cascading-1.5.0-cdh5.14.4.jar
-rw-r--r--. 1 root root 956035 Jun 24 2019 parquet-column-1.5.0-cdh5.14.4.jar
-rw-r--r--. 1 root root 41084 Jun 24 2019 parquet-common-1.5.0-cdh5.14.4.jar
-rw-r--r--. 1 root root 278926 Jun 24 2019 parquet-encoding-1.5.0-cdh5.14.4.jar
-rw-r--r--. 1 root root 384620 Jun 24 2019 parquet-format-2.1.0-cdh5.14.4.jar
-rw-r--r--. 1 root root 132777 Jun 24 2019 parquet-format-2.1.0-cdh5.14.4-javadoc.jar
-rw-r--r--. 1 root root 6474 Jun 24 2019 parquet-format-2.1.0-cdh5.14.4-sources.jar
-rw-r--r--. 1 root root 23679 Jun 24 2019 parquet-generator-1.5.0-cdh5.14.4.jar
-rw-r--r--. 1 root root 212644 Jun 24 2019 parquet-hadoop-1.5.0-cdh5.14.4.jar
-rw-r--r--. 1 root root 2776911 Jun 24 2019 parquet-hadoop-bundle-1.5.0-cdh5.14.4.jar
-rw-r--r--. 1 root root 927867 Jun 24 2019 parquet-jackson-1.5.0-cdh5.14.4.jar
-rw-r--r--. 1 root root 84853 Jun 24 2019 parquet-pig-1.5.0-cdh5.14.4.jar
-rw-r--r--. 1 root root 2855960 Jun 24 2019 parquet-pig-bundle-1.5.0-cdh5.14.4.jar
-rw-r--r--. 1 root root 49233 Jun 24 2019 parquet-protobuf-1.5.0-cdh5.14.4.jar
-rw-r--r--. 1 root root 33088 Jun 24 2019 parquet-scala_2.10-1.5.0-cdh5.14.4.jar
-rw-r--r--. 1 root root 22932 Jun 24 2019 parquet-scrooge_2.10-1.5.0-cdh5.14.4.jar
-rw-r--r--. 1 root root 6287 Jun 24 2019 parquet-test-hadoop2-1.5.0-cdh5.14.4.jar
-rw-r--r--. 1 root root 207188 Jun 24 2019 parquet-thrift-1.5.0-cdh5.14.4.jar
-rw-r--r--. 1 root root 67029 Jun 24 2019 parquet-tools-1.5.0-cdh5.14.4.jar
解决方法
镶木地板似乎是一个 base 包
scala> import parquet.hadoop
import parquet.hadoop
scala> import parquet.hadoop.metadata
import parquet.hadoop.metadata
scala> import parquet.hadoop.metadata.ParquetMetadata
import parquet.hadoop.metadata.ParquetMetadata
scala> val nof = parquet.format.converter.ParquetMetadataConverter.NO_FILTER
nof: parquet.format.converter.ParquetMetadataConverter.MetadataFilter = NO_FILTER
scala> nof
res1: parquet.format.converter.ParquetMetadataConverter.MetadataFilter = NO_FILTER
scala> print(nof)
NO_FILTER
scala> import parquet.hadoop.ParquetFileReader
import parquet.hadoop.ParquetFileReader
在Pyspark中：
>>> pfr = sc._gateway.jvm.parquet.hadoop.ParquetFileReader
>>> pfr
<py4j.java_gateway.JavaClass object at 0x7f6fca6d1c90>
>>> nof = sc._gateway.jvm.parquet.format.converter.ParquetMetadataConverter.NO_FILTER
>>> nof
JavaObject id=o64
>>> str(nof)
'NO_FILTER'
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。