Ubuntu14上安装Hadoop单机/伪分布式步骤详解

分类：Ubuntu作者：编程之家用户

本文主要参考官方安装教程，如对自己英语水平十分自信，请点击链接移步官网～

测试使用以下软件包

  • Ubuntu 14.04 64位
  • Hadoop 2.8

首先需要安装好Ubuntu系统，完成该步骤后，才能在此基础上安装 Hadoop。

创建hadoop用户

  1. sudo adduser hadoop

此处命令会创建用户hadoop及组并设置密码

更新apt

用 hadoop 用户登录后，我们先更新一下 apt，后续我们使用 apt 安装软件，如果没更新可能有一些软件安装不了。

  1. sudo apt-get update

通过命令行安装软件

配置SSH无密码登陆

  1. cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost
  2. ssh-keygen -t rsa # 会有提示，都按回车就可以
  3. cat ./id_rsa.pub >> ./authorized_keys # 加入授权

此时再用ssh localhost命令，无需输入密码就可以直接登陆了，如下图所示。

安装Java环境

根据http://wiki.apache.org/hadoop/HadoopJavaVersions中所说，hadoop2.8支持OpenJDK 1.7。所以这里直接安装OpenJDK1.7:

  1. sudo apt-get install openjdk-7-jdk

安装好 OpenJDK 后，需要找到相应的安装路径，这个路径是用于配置 JAVA_HOME 环境变量的。执行如下命令：

  1. dpkg -L openjdk-7-jdk | grep '/bin/javac'

该命令会输出一个路径，除去路径末尾的 “/bin/javac”，剩下的就是正确的路径了。如输出路径为 /usr/lib/jvm/java-7-openjdk-amd64/bin/javac，则我们需要的路径为 /usr/lib/jvm/java-7-openjdk-amd64。

接着在 ~/.bashrc 的最后一行配置 JAVA_HOME 环境变量

  1. vim ~/.bashrc

执行如下命令使之生效：

  1. source ~/.bashrc

设置好后我们来检验一下是否设置正确：

  1. echo $JAVA_HOME # 检验变量值
  2. java -version
  3. $JAVA_HOME/bin/java -version # 与直接执行 java -version 一样
  4. 如果设置正确的话，$JAVA_HOME/bin/java -version会输出 java 的版本信息，且和java -version的输出结果一样，如下图所示：

至此，Hadoop所需的Java运行环境就安装好了。

安装 Hadoop

将 Hadoop 安装至 /usr/local/ 中：

  1. sudo tar -zxf hadoop-2.8.0.tar.gz -C /usr/local # 解压到/usr/local中
  2. cd /usr/local/
  3. sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop
  4. sudo chown -R hadoop ./hadoop # 修改文件权限

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

  1. cd /usr/local/hadoop
  2. ./bin/hadoop version

配置etc/hadoop/下的hadoop-env.sh文件，修改里面的JAVA_HOME与刚才bashrc里面的一致。

Hadoop单机配置(非分布式)

Hadoop 默认模式为非分布式模式，无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。

现在我们可以执行例子来感受下 Hadoop 的运行。Hadoop 附带了丰富的例子（运行./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar可以看到所有例子），包括 wordcount、terasort、join、grep 等。

在此我们选择运行 grep 例子，我们将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。

  1. cd /usr/local/hadoop
  2. mkdir ./input
  3. cp ./etc/hadoop/*.xml ./input # 将配置文件作为输入文件
  4. ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
  5. cat ./output/* # 查看运行结果

执行成功后如下所示，输出了作业的相关信息，输出的结果是符合正则的单词 dfsadmin 出现了1次

Hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件core-site.xml和hdfs-site.xml。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

修改配置文件core-site.xml

  • <configuration>
  • </configuration>

修改为下面配置：

  • <configuration>
  • <property>
  • <name>hadoop.tmp.dir</name>
  • <value>file:/usr/local/hadoop/tmp</value>
  • <description>Abase for other temporary directories.</description>
  • </property>
  • <property>
  • <name>fs.defaultFS</name>
  • <value>hdfs://localhost:9000</value>
  • </property>
  • </configuration>

修改配置文件hdfs-site.xml：

  • <configuration>
  • <property>
  • <name>dfs.replication</name>
  • <value>1</value>
  • </property>
  • <property>
  • <name>dfs.namenode.name.dir</name>
  • <value>file:/usr/local/hadoop/tmp/dfs/name</value>
  • </property>
  • <property>
  • <name>dfs.datanode.data.dir</name>
  • <value>file:/usr/local/hadoop/tmp/dfs/data</value>
  • </property>
  • </configuration>

配置完成后，执行 NameNode 的格式化:

  1. ./bin/hdfs namenode -format

成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。

开启 NameNode 和 DataNode 守护进程。

  1. ./sbin/start-dfs.sh

若出现如下SSH提示，输入yes即可。

启动时可能会出现如下 WARN 提示：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable。该 WARN 提示可以忽略，并不会影响正常使用（该 WARN 可以通过编译 Hadoop 源码解决）。

如果启动 Hadoop 时遇到输出非常多“ssh: Could not resolve hostname xxx”的异常情况：

这个并不是 ssh 的问题，可通过设置 Hadoop 环境变量来解决。首先按键盘的ctrl + c中断启动，然后在 ~/.bashrc 中，增加如下两行内容（设置过程与JAVA_HOME变量一样，其中HADOOP_HOME 为 Hadoop 的安装目录）：

保存后，执行source ~/.bashrc使变量设置生效，然后再次执行./sbin/start-dfs.sh启动 Hadoop。

启动完成后，可以通过命令jps来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”（如果 SecondaryNameNode 没有启动，请运行 sbin/stop-dfs.sh 关闭进程，然后再次尝试启动尝试）。如果没有 NameNode 或 DataNode ，那就是配置不成功，请仔细检查之前步骤，或通过查看启动日志排查原因。

成功启动后，可以访问 Web 界面http://ip:50070查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

运行Hadoop伪分布式实例

上面的单机模式，grep 例子读取的是本地数据，伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：

  1. ./bin/hdfs dfs -mkdir -p /home/hadoop

接着将./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /home/hadoop/input 中。我们使用的是 hadoop 用户，并且已创建相应的用户目录 /home/hadoop ，因此在命令中就可以使用相对路径如 input，其对应的绝对路径就是 /home/hadoop/input:

  1. ./bin/hdfs dfs -mkdir input
  2. ./bin/hdfs dfs -put ./etc/hadoop/*.xml input

复制完成后，可以通过如下命令查看文件列表：

  1. ./bin/hdfs dfs -ls /home/hadoop/input

若要关闭 Hadoop，则运行

  1. ./sbin/stop-dfs.sh

注意

下次启动 hadoop 时，无需进行 NameNode 的初始化，只需要运行./sbin/start-dfs.sh

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

预编译 CARLA 安装过程记录 Ubuntu 22.04 Carla 0.9.14
文章浏览阅读2.3k次，点赞4次，收藏22次。最近安装了CARLA预编译版，总体过程感觉还是挺简单的，但是由于在网上找的参考资料并没有和自己遇到的情况完全一样的，所以把自己的安装过程记录下来，方便和自己一样的后来人进行安装，同时也自己作个记录留作备忘。其实预编译版的CARLA本身几乎不用什么命令行进行安装，主要步骤只有解压缩和拷贝文件，和极少的命令行安装操作。但是相关依赖以及其它的CARLA所使用的一些工具需要一起安装好，下面一起来看看安装步骤吧。_ubuntu22.04安装carla
Ubuntu 20 安装包下载（清华镜像）
文章浏览阅读6.3k次，点赞5次，收藏15次。在清华镜像中下载Ubuntu 20 安装包_ubuntu20下载
error: command '/usr/bin/gcc' failed with exit code 1 问题解决
文章浏览阅读5k次。linux环境， python3.7.问题描述： 安装rally， pip3 install -r requirements.txt 时提示如下： 说明openssl 已安装。解决：1. pip3 install --upgrade pip ， 结果输出如下 ..._error: command '/usr/bin/gcc' failed with exit code 1
详细攻略 WIN11 + WSL2+ Ubuntu22.04+CUDA + MINICONDA3+Pytorch安装踩坑总结，手把手教学，看不会你打我
文章浏览阅读1.1k次。自己刚踩坑装好的W11 WSL2 miniconda_wsl2 cuda
Ubuntu 20.04 安装VNC Server的简单教程
文章浏览阅读4.2k次，点赞4次，收藏17次。要安装这个 standalone的，会有一点区别（不识别 下面的 -localhost no)上面的命令会在~/.vnc/目录下生成一个 passwd文件。具体端口号，可以查看vncserver -list返回结果中的RFB PROT。作用是vncserver启动的时候运行这些命令，把桌面程序启动起来。如果希望用某个用户比如 demo登录，就用su切换到这个用户。桌面版默认就已安装，服务器版需要手动安装，并启动。关闭某个会话可以用下面的命令。远程地址输入ip:port。查看全部的vnc会话。_ubuntu vncserver
Ubuntu本地安装code-server结合内网穿透实现安卓平板远程写代码
文章浏览阅读894次，点赞51次，收藏31次。在安卓使用vscode主要是连接一个远程的code-server服务，code-server服务安装在什么系统,调用的就是什么系统的环境,如这里使用ubuntu进行安装code-server,那使用的就是ubuntu环境,如需要go,python,java开发,需要在Ubuntu安装相关环境,创建的文件夹和项目也是在Ubuntu里面.这种方式其实在访问vscode的时候利于可以随时随地进行连接使用,且不受设备影响。
安装terminator(ubuntu上超好用的终端)
安装Ubuntu上超好用的终端Terminator。通过添加软件源、更新源、安装Terminator等步骤完成。
【不单调的代码】还在嫌弃Ubuntu终端？快来试试做些Ubuntu终端的花式玩法。
文章浏览阅读1.1k次，点赞83次，收藏74次。不要嫌弃Ubuntu的单调的终端界面啦，快来试试这些有意思的命令_ubuntu系统有趣的玩法
Ubuntu 20.04设置虚拟内存 （交换内存swap）解决内存不足
文章浏览阅读2.5k次。在ubuntu系统中，swap空间就是虚拟内存，所以考虑在磁盘空间富余的目录下设置虚拟内存swap文件，用来缓解内存不足的问题。通过上面的信息可以看到，/dev/vda2 目录下还剩余45G，那么就可以把swap文件生成在/dev/vda2目录下。在系统监控中发现，当数据库服务程序启动后，占用了大量内存空间，导致系统的剩余的内存往往只有几十MB。# bs 为块的大小，count 创建多少个块。# 执行命令后，删除创建的swap目录即可。#把生成的文件转换成 Swap 文件。2、创建一个swap文件。_ubuntu20修改swap大小
RV1126 SDK编译错误及解决记录
文章浏览阅读2.9k次，点赞2次，收藏10次。记录RV1126的SDK编译错误，以及解决处理_command exited with non-zero status 1
【记录】ubuntu20.04安装nvidia显卡驱动
文章浏览阅读1.1w次，点赞22次，收藏101次。【记录】ubuntu20.04安装nvidia显卡驱动_ubuntu20.04安装nvidia显卡驱动
【嵌入式Linux开发】Ubuntu22.04切换Linux内核，启用nfs2，解决uboot无法通过nfs服务从Ubuntu下载系统镜像（TTTTTT）
文章浏览阅读727次，点赞6次，收藏27次。在嵌入式Linux开发过程中，可能遇到uboot无法通过nfs服务从Ubuntu下载系统镜像（TTTTTT）的问题。如果你使用的是较新版本的Ubuntu，那么其**默认内核将不支持nfs2**！而**uboot仅支持到nfs2**，因此我们需要修改系统内核以及nfs配置文件，开启nfs2服务。**此问题非常棘手**，因为问题出现的时间太近，并且使用的人少。由于是2023年后才出现的问题，**chatgpt也无法解答**！本文参考网络上多篇博客资料，是解决此问题的最新办法。
ubuntu下安装软件的方法
ubuntu系统下安装软件的方法有多种，包括使用apt工具、deb软件包安装、源码编译安装以及通过软件中心安装。还有一种以 .run 后缀的软件包也可以在ubuntu系统下安装。具体的安装方法可以通过百度搜索来获取。
XUbuntu22.04之安装pkg-config(一百九十二)
文章浏览阅读814次。本篇目的：Xubuntu如何安装pkg-configpkg-config是一个计算机软件包，用于帮助开发人员查找、定位和使用依赖库。它通常用于构建软件时，开发人员需要指定程序所依赖的外部库的位置和版本信息。使用pkg-config，开发人员可以很容易地查找、检索和导出这些依赖库的信息，从而简化了软件的构建过程。_ubuntu中怎么下载pkg-config
ubuntu实现共享文件夹（20.04）
文章浏览阅读2k次。ubuntu创建共享文件夹_ubuntu20.04共享文件夹
【无公网IP】在公网环境下Windows远程桌面Ubuntu 18.04
文章浏览阅读2.9k次，点赞74次，收藏73次。对于有长期远程桌面需求的用户，建议将cpolar套餐升级到专业套餐，支持配置固定的公网TCP端口，且带宽也会相应的增大，支持更高效便捷的远程桌面连接Ubuntu系统。【cpolar内网穿透支持http/https/tcp协议，支持永久免费使用，不限制流量，无需公网IP，也不用进入路由器设置，操作简单。隧道创建成功后，点击左侧仪表盘的状态——在线隧道列表，查看xrdp隧道的所生成的公网TCP端口地址，复制下来。，使用cpolar内网穿透映射3389端口，生成公网TCP端口地址，实现在公网环境下，_ubuntu 局域网桌面
Ubuntu 创建用户
文章浏览阅读3.2k次。而在linux的ubuntu版本中，又多出两类用户：安装ubuntu系统的源用户xxx，其与root具有相同权限，仅在执行命令时，前面加sudo。在ubuntu中，用命令deluser username可以直接删除用户账号及家目录，而用centos7中的命令userdel -r username才能达到同样目的。在ubuntu中，没有moduser命令，centos7中的usermod修改用户信息的命令，同样可以用在ubuntu中。在系统中，创建新的用户或称为账号，一般需要多步操作。_ubuntu创建一个新用户
Ubuntu查看系统日志的几种方法
文章浏览阅读1.6w次，点赞4次，收藏23次。系统的许多日志文件都存储在 /var/log 目录中。你可以使用 ls /var/log 命令来列出可用的日志文件。/var/log/Xorg.0.log：包含 X 服务器的日志信息（图形界面）。打开DASH，搜索日志或者log，打开app，这个是/var/log的界面版。这将显示系统日志的末尾，并提供有关系统崩溃和错误的信息。/var/log/kern.log：包含内核日志信息。/var/log/dmesg：包含开机时的日志信息。/var/log/syslog：包含系统日志信息。_ubuntu查看系统日志
Ubuntu apt更换国内镜像源，apt 更新源，apt 国内镜像
文章浏览阅读857次。首先将source.list复制为source.list.bak备份，然后将source.list内容改为需要的镜像源列表即可。Ubuntu采用apt作为软件安装工具，其镜像源列表记录在/etc/apt/source.list文件中。本节均为 Ubuntu 20.04 的镜像源列表。若为其他版本，将所有focal更改为其他版本代号即可。_apt 国内源
Ubuntu软件源、pip源大全，国内网站网址，阿里云、网易163、搜狐、华为、清华、北大、中科大、上交、山大、吉大、哈工大、兰大、北理、浙大
文章浏览阅读3.2k次。软件源、pip源_ubuntu国内源地址
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot