Ubuntu下单机安装Hadoop详细教程附所需安装包下载

分类：Ubuntu 来源：Z.Q.Feng 主页：
编程之家收集整理的这篇文章主要介绍了Ubuntu下单机安装Hadoop详细教程附所需安装包下载，编程之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。

内容概述

目录前言一、创建Hadoop用户二、更新apt和安装Vim编辑器三、安装SSH和配置SSH无密码登录四、安装Java环境1. 安装JDK2. 配置JDK环境3. 检验安装五、安装单机Hadoop1. 下载安装Hadoop2. 运行示例总结前言本文安装的 Hadoop 及 Java 环境基于林子雨老师的《大数据技术原理与应用（第3版）》中所要求，其中Java 版本为1.8.0_301，Hadoop 版本为3.3.1，其他版本的安装请参考其他博客。..

语音解读

图文解释

目录

前言

一、创建Hadoop用户

二、更新apt和安装Vim编辑器

三、安装SSH和配置SSH无密码登录

四、安装Java环境

1. 安装JDK

2. 配置JDK环境

3. 检验安装 

五、安装单机Hadoop

1. 下载安装Hadoop

2. 运行示例

总结


前言

本文安装的 Hadoop 及 Java 环境基于林子雨老师的《大数据技术原理与应用（第3版）》中所要求，其中 Java 版本为1.8.0_301，Hadoop 版本为3.2.2，其他版本的安装请参考其他博客。

Hadoop 单机安装基本配置主要包括以下几个步骤：

  • 创建 Hadoop 用户
  • 更新 apt 和安装 Vim 编辑器
  • 安装 SSH 和配置 SSH 无密码登录
  • 安装 Java 环境
  • 安装单机 Hadoop

这里我的操作系统环境是 Ubuntu20.04，此安装方法同样适用于低版本。

一、创建Hadoop用户

创建用户命令如下：

 sudo useradd -m hadoop -s /bin/bash

 接着为 hadoop 用户设置密码，建议三位数，不用太长也要便于记忆：

sudo passwd hadoop

然后为 hadoop 用户增加管理员权限：

sudo adduser hadoop sudo

切换用户为hadoop登录！


二、更新apt和安装Vim编辑器

首先更新 apt：

sudo apt-get update

接着安装 Vim 编辑器：

sudo apt-get install vim 


若电脑已安装则可跳过此步骤。

三、安装SSH和配置SSH无密码登录

Ubuntu 操作系统下默认已安装了 SSH 客户端，因此这里我们只需安装 SSH 服务端：

sudo apt-get install openssh-server

安装后，可使用以下命令登录本机：

ssh localhost

输入 yes 与用户密码，就可以登录到本机，详细输出如下：

zq@fzqs-computer [11时22分50秒] [/home/hadoop/Downloads] 
-> %  ssh localhost
The authenticity of host 'localhost (127.0.0.1)' can't be established.
ECDSA key fingerprint is SHA256:YMFv60J4eT7***c3SA8sfuXU.
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
Warning: Permanently added 'localhost' (ECDSA) to the list of kNown hosts.
zq@localhost's password: 
Welcome to Ubuntu 20.04.3 LTS (GNU/Linux 5.11.0-36-generic x86_64)

 * Documentation:  https://help.ubuntu.com
 * Management:     https://landscape.canonical.com
 * Support:        https://ubuntu.com/advantage

0 updates can be applied immediately.

Your Hardware Enablement Stack (HWE) is supported until April 2025.

The programs included with the Ubuntu system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Ubuntu comes with ABSOLUTELY NO WARRANTY,to the extent permitted by
applicable law.

接着我们退出 SSH 登录，

exit

配置无密码登录：

cd ~/.ssh/
ssh-keygen -t rsa

注意这里第二步要你输入文件名时不用输入，直接一路 Enter 选择默认值就好了！

cat ./id_rsa.pub >> ./authorized_keys

此时再用 ssh localhost 命令无需密码即可登录了。

四、安装Java环境

1. 安装JDK

对于 Hadoop3.1.3 及以上版本而言，需要使用 JDK1.8 或者更新的版本，这里我们使用的 JDK 版本为1.8.0_301，安装包可以从 Oracle 官网下载：Java Downloads | Oracle，Java官网安装麻烦

也可从我的百度网盘下载：jdk-8u301-linux-x64.tar.gz

提取码：2g4c

接着在 /usr/lib 目录下创建 jvm 文件夹来保存 JDK 文件：

cd /usr/lib
sudo mkdir jvm

解压缩之前的 JDK 文件到上述目录中：

cd ~/Downloads
sudo tar -zxvf ./jdk-8u301-linux-x64.tar.gz -C /usr/lib/jvm

2. 配置JDK环境

使用 gedit 编辑器编辑环境变量：

sudo gedit ~/.bashrc

在文件末尾处添加以下几行内容：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_301
export JRE_HOME=${JAVA_HOME}/jre
export CLAsspATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

保存并退出，接着使我们刚加入的环境变量生效：

source ~/.bashrc

3. 检验安装 

输入以下命令：

java -version

若出现如下输出则说明安装成功：

hadoop@fzqs-computer:~$ java -version

java version "1.8.0_301"
Java(TM) SE Runtime Environment (build 1.8.0_301-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.301-b09,mixed mode)

五、安装单机Hadoop

1. 下载安装Hadoop

下载地址：Apache Hadoop，这里官网下载较快，但注意不要下载 src 源码包！

这里我安装的 Hadoop 版本为3.2.2，下载好后，执行以下命令安装：

sudo tar -zxf ~/Downloads/hadoop-3.2.2.tar.gz -C /usr/local

修改目录名称：

cd /usr/local
sudo mv  ./hadoop-3.2.2/ ./hadoop

赋予可执行权限:

sudo chown -R hadoop ./hadoop

  进入 hadoop 文件夹，查看安装的 Hadoop 版本信息：

cd ./hadoop
./bin/hadoop version

hadoop@fzqs-computer:/usr/local/hadoop$ ./bin/hadoop version

Hadoop 3.2.2
Source code repository https://github.com/apache/hadoop.git -r a3b9c37a397ad4188041dd80621bdeefc46885f2
Compiled by ubuntu on 2021-06-15T05:13Z
Compiled with protoc 3.7.1
From source with checksum 88a4ddb2299aca054416d6b7f81ca55
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-3.2.2.jar

若出现如上输出，则说明 Hadoop 安装成功。

2. 运行示例

首先在 Hadoop 安装目录下新建 input 子目录：

cd /usr/local/hadoop
sudo mkdir input

 复制 “/usr/local/hadoop/etc/hadoop” 中的配置文件到 input 目录下：

sudo cp ./etc/hadoop/*.xml ./input

切换 root 用户 ：

su

 执行以下代码运行 Grep 示例：

./bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep ./input ./output 'dfs[a-z.]+'

执行完后，输入以下命令查看输出结果：

cat ./output/*

hadoop@fzqs-computer:/usr/local/hadoop$ cat ./output/*
1    dfsadmin

总结

总结

以上是编程之家为你收集整理的Ubuntu下单机安装Hadoop详细教程附所需安装包下载全部内容。

如果觉得编程之家网站内容还不错，欢迎将编程之家网站推荐给好友。

Ubuntu 20.04配置ORB-SLAM2和ORB-SLAM3运行环境+ROS实时运行ORB-SLAM+Gazebo仿真运行ORB-SLAM2+各种相关库的安装
在新安装的Ubuntu 20.04系统中配置ORB-SLAM2和ORB-SLAM3的运行环境Ubuntu系统自带的源都是国外的网址，国内用户在使用的时候下载比较慢甚至无法获取，在安装各种库或软件时会深受其折磨！解决方案是直接替换成国内的镜像源（1）备份源文件：（2）打开文件：（3）换源：推荐清华的源（根据自己的网去尝试，选择最快的一个，查看ubuntu版本命令：cat /etc/issue）：清华源地址，选择Ubuntu版本并复制源，覆盖sources.list文件原来的内容。...........
Ubuntu下单机安装Hadoop详细教程附所需安装包下载
目录前言一、创建Hadoop用户二、更新apt和安装Vim编辑器三、安装SSH和配置SSH无密码登录四、安装Java环境1. 安装JDK2. 配置JDK环境3. 检验安装五、安装单机Hadoop1. 下载安装Hadoop2. 运行示例总结前言本文安装的 Hadoop 及 Java 环境基于林子雨老师的《大数据技术原理与应用（第3版）》中所要求，其中Java 版本为1.8.0_301，Hadoop 版本为3.3.1，其他版本的安装请参考其他博客。..
ubuntu 上运行的django 出现No space left on device错误
原文连接：https://www.cnblogs.com/yasmi/p/5192694.html  运行django出现错误信息:[2016-02-16 14:33:24,476 pyinotify ERROR] add_watch: cannot watch /usr/local/lib/python2.7/dist-packages/django/contrib/sessio...
VirtualBox 虚拟机不见了
电脑重启后，打开VirtualBox，发现一直用的虚拟机莫名的消失了，如下：别着急，以下教你如何找回之前的虚拟机：1、点击控制，然后选择注册，找到虚拟机的安装目录，比如：C:UserstxVirtualBox VMs，然后选择需要找回的虚拟机vbox，点击打开按钮即可：2、如果打开后报错，则执行第三步：3、删除ubuntu.vbox，然后将ubuntu.vbox-prev重命名为ubuntu.vbox，然后再执行第二步即可...
ubuntu18.04 安装中文输入法、输入法不可用
参见：https://blog.csdn.net/weixin_38883338/article/details/82153933 https://blog.csdn.net/github_39533414/article/details/85211012
如何在 Ubuntu 上使用 Netplan 配置网络
Ubuntu 18.04 LTS 已切换到 Netplan 来配置网络接口。Netplan 基于 YAML 的配置系统，使得配置过程非常简单。Netplan 替换了我们之前在 Ubuntu 中用于配置网络接口的旧配置文件/etc/network/interfaces。在本文中，我们将学习如何使用 Netplan 在 Ubuntu 中配置网络。我们将看到静态和动态 IP 配置。我将使用 Ubuntu 18.04 LTS 来描述本文中提到的过程。使用 Netplan 配置网络您可以在/etc
如何在 Ubuntu 18.04 上使用 UFW 管理和转发端口
介绍每个 Web 服务都可以通过特定的 URL 在 Internet 上访问，该 URL 代表一种“替代名称”，用于标识提供该服务的服务器的 IP 地址和端口。同一台机器可以同时在不同的端口上提供不同的服务。出于安全原因，可能需要屏蔽 Web 服务的端口号，从而在外部显示与服务实际侦听的端口号不对应的端口号。感谢本教程，您将能够管理您的服务器端口，配置集成在 Ubuntu 中的 UFW 防火墙。特别是，按照指南的说明，您将学习将来自某个端口的请求转发到另一个端口（端口转发），同时使用后者提供的.
在 Ubuntu 20.04 LTS 上安装 Observium
Observium 是一个免费和开源的 sa 网络管理和监控系统工具。我们可以使用 SNMP 收集数据，它允许监控所有网络设备。它提供了一个简单易用的 Web 界面。它基于 PHP 并使用 MySQL 数据库来存储数据。在 ubuntu 上设置 Observium 有几个步骤：第 1 步：更新系统。apt-get update第 2 步：安装 PHP 和模块。apt install wget apache2 php php-{pear,cgi,common,curl,mbstring,g
编程问答discordterraformjenkins-pikubernetesrestapigoogle-kub笔记本amazon-ecsamazon-iamkubernetesamazon-eksnginx-reveesp32hyperledgejenkins-pl主板kubectlelastic-stdigital-ocgcloudmsalgoogle-clonginx-ingrcv2xgboostgitlab-ci-statadocker-swa蓝屏minikubebazelvalueerrorhyperledgenetcdfsplunkprismagensimwso2-amgoogle-clo