如何解决没有hadoop的Spark2.4.6：发生了JNI错误
在我的Windows机器上，我尝试使用spark 2.4.6，而没有使用hadoop- spark-2.4.6-bin-and-hadoop-scala-2.12.tgz
设置了SPARK_HOME，HADOOP_HOME以及SPARK_DIST_CLASSPATH以及来自链接here的帖子中的信息
当我尝试启动spark-shell时，出现此错误-
Error: A JNI error has occurred,please check your installation and try again
Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger
at java.lang.Class.getDeclaredMethods0(Native Method)
at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
at java.lang.Class.getMethod0(Class.java:3018)
at java.lang.Class.getMethod(Class.java:1784)
at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 7 more
上面引用的链接似乎已经出现，许多其他链接都指向SPARK_DIST_CLASSPATH，但是我的系统变量中已经有-
$ HADOOP_HOME; $ HADOOP_HOME \ etc \ hadoop *; $ HADOOP_HOME \ share \ hadoop \ common \ lib *; $ HADOOP_HOME \ share \ hadoop \ common *; $ HADOOP_HOME \ share \ hadoop \ hdfs *; $ HADOOP_HOME \ share \ hadoop \ hdfs \ lib *; $ HADOOP_HOME \ share \ hadoop \ hdfs *; $ HADOOP_HOME \ share \ hadoop \ yarn \ lib *; $ HADOOP_HOME \ share \ hadoop \ yarn *; $ HADOOP_HOME \ share \ hadoop \ mapreduce \ lib *; $ HADOOP_HOME \ share \ hadoop \ mapreduce *; $ HADOOP_HOME \ share \ hadoop \ tools \ lib *;
在spark的spark-env.sh中也有这行-
export SPARK_DIST_CLASSPATH=$(C:\opt\spark\hadoop-2.7.3\bin\hadoop classpath)
HADOOP_HOME = C:\opt\spark\hadoop-2.7.3
SPARK_HOME = C:\opt\spark\spark-2.4.6-bin-without-hadoop-scala-2.12
当我尝试使用hadoop附带的spark 2.4.5时，效果似乎很好。这表明我设置Hadoop的方式存在问题。我在这里想念什么？ 谢谢！
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。