ubuntu10.04+hadoop0.20.2平台配置完全分布式模式

配置环境及有关工具:ubuntu10.04 、hadoop0.20.2 、 jdk1.6.0_29

我们的机器有三台,一台当作namenode、两台当作datanode:

namenode:IP:192.168.0.25、机器名:kiddenzj 这里的机器名要注意:机器名不能包含下划线“_”,一开始没注意后来找了半天才发现这个原

datanode:IP:192.168.0.8 、机器名:kiddenxcc

IP192.168.0.66、机器名: kiddenhw

集群里所有登陆的用户名和密码都要保持相同,我在这里创建了名为grid的用户,后面的步骤就是在这个用户下进行的。


配置步骤:

1)安装ssh

输入命令:

[java] view plain copy
  1. apt-getinstallssh

2)SSH配置

SSH配置主要是为了实现在机器间执行指令时不再需要输入密码,在所有的机器上建立.ssh目录,这里我们建立在/home/grid下面:

[html] copy
    mkdir.ssh
然后在namenode机器上生成密钥对,执行:
copy
    ssh-keygen-trsa
然后一直按Enter键,就会按照默认选项生成密钥对保存在.ssh/id_rsa文件中。

继续执行如下命令,把密钥传递给每个datanode节点:

copy
    cd~/.ssh
  1. cpid_rsa.pubauthorized_keys
  2. scpauthorized_keyskiddenhw:/home/grid/.ssh
  3. scpauthorized_keyskiddenxcc:/home/grid/.ssh
然后分别在每台datanode机器上执行如下命令,以改变authorized_keys文件的许可权限:
copy
    chmod644authorized_keys
到此,从namenode发起的到其他datanode节点的SSH连接,就会只需在第一次登录是输入密码,以后则不再需要。

可以通过如下命令发起连接:

copy
    sshkiddenhw

3)jdk的安装(namenode机和datanode机均按此安装)

下载jdk-6u29-linux-i586.bin,安装到/usr/java下,cd到usr/java下,

  
  
[python] view plain copy
  1. sudochmodu+xjdk-6u29-linux-i586.bin
  2. sudo./jdk-6u29-linux-i586.bin

接下来要设置java的环境变量输入命令:

[javascript] copy
    sudogedit/etc/profile
在文件的最后添加以下语句:
copy
    JAVA_HOME=/usr/java/jdk1.6.0_29
  1. exportJRE_HOME=/usr/java/jdk1.6.0_29/jre
  2. exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
  3. exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

保存退出,然后执行source /etc/profile即可。

输入java -version 命令,出现如下信息就表示配置成功

copy
    javaversion"1.6.0_29"
  1. Java(TM)SERuntimeEnvironment(build1.6.0_29-b11)
  2. JavaHotSpot(TM)ServerVM(build20.4-b02,mixedmode)
4)hadoop的安装配置(只是在namenode端安装配置,完成后namenode可以直接把配置好的hadoop发送到各个datanode端)

在这里,下载hadoop-0.20.2.tar.gz,然后解压到/home/grid/下即可,

在hadoop文的件夹下需要建立几个文件夹,如下:

(这里一开始没有创建,结果查看运行信息的时候,虽然datanode节点都有进程在运行,但livenodes节点依然为0)

copy
    mkdirtmp
  1. mkdirhdfs
  2. mkdirhdfs/name
  3. mkdirhdfs/data
接下来需要修改hadoop的conf文件夹下的配置信息:

修改hadoop-env.sh,加入如下语句,使得hadoop能够找到java的路径。:

copy
    exportJAVA_HOME=/usr/java/jdk1.6.0_2

修改core-site.xml,如下:

copy
    <configuration>
  1. <property>
  2. <name>fs.default.name</name>
  3. <value>hdfs://kiddenzj:9000</value>
  4. </property>
  5. </configuration>

修改hdfs-site.xml,如下

[cpp] copy
    <name>dfs.replication</name>
  1. <value>1</value>
  2. </configuration>

修改mapred-site.xml,如下:

copy
    <name>mapred.job.tracker</name>
  1. <value>kiddenzj:9001</value>
  2. </configuration>
masters里写入作为namenode节点机器的名称,我们这里是:kiddenzj

slaves里写入作为datanode节点的机器名,这里是:kiddenhw和kiddenxcc

到此,hadoop的有关配置已经完成,namenode端通过如下命令把配置好的hadoop发送到各个datanode处:

copy
    scp-rhadoop-0.20.2kiddenhw:/home/grid
  1. scp-rhadoop-0.20.2kiddenxcc:/home/grid

5)修改每台机器上/etc下面的hosts文件,也就是写入所有的机器名和对应IP地址(包括namenode和datanode节点),我们这里修改后如下:

copy
    127.0.0.1localhost
  1. 192.168.0.8kiddenxcc
  2. 0.25kiddenzj
  3. 0.66kiddenhw
6)
到此基本配置已经完成,在namenode端cd到hadoop文件夹下,格式化分布式文件系统:
copy
    bin/hadoopnamenode-format

下面接着在namenode端启动hadoop进程:

copy
    bin/start-all.sh
如果没有其它差错的话,hadoop可以正常启动,并能够看到如下结果:

在namenode端用jps命令查看启动情况,如下:

copy
    grid@kiddenzj:~/hadoop-0.20.2$jps
  1. xxxxJps
  2. xxxxNamenode
  3. xxxxSecondarynamenode
  4. xxxxJobTracker

在datanode端用jps查看启动情况,如下:

copy
    grid@kiddenhw:~/hadoop-0.20.2$jps
  1. xxxxDataNode
  2. xxxxTaskTracker

然后可以通过如下地址来查看集群运行状况:

copy
    http://kiddenzj:50030
  1. http://kiddenzj:50070
  2. <prename="code"class="html">http://kiddenhw:50060</pre>
  3. >>
  4. >

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读2.3k次,点赞4次,收藏22次。最近安装了CARLA预编译版,总体过程感觉还是挺简单的,但是由于在网上找的参考资料并没有和自己遇到的情况完全一样的,所以把自己的安装过程记录下来,方便和自己一样的后来人进行安装,同时也自己作个记录留作备忘。其实预编译版的CARLA本身几乎不用什么命令行进行安装,主要步骤只有解压缩和拷贝文件,和极少的命令行安装操作。但是相关依赖以及其它的CARLA所使用的一些工具需要一起安装好,下面一起来看看安装步骤吧。_ubuntu22.04安装carla
文章浏览阅读6.3k次,点赞5次,收藏15次。在清华镜像中下载Ubuntu 20 安装包_ubuntu20下载
文章浏览阅读5k次。linux环境, python3.7.问题描述: 安装rally, pip3 install -r requirements.txt 时提示如下: 说明openssl 已安装。解决:1. pip3 install --upgrade pip , 结果输出如下 ..._error: command '/usr/bin/gcc' failed with exit code 1
文章浏览阅读1.1k次。自己刚踩坑装好的W11 WSL2 miniconda_wsl2 cuda
文章浏览阅读4.2k次,点赞4次,收藏17次。要安装这个 standalone的,会有一点区别(不识别 下面的 -localhost no)上面的命令会在~/.vnc/目录下生成一个 passwd文件。具体端口号,可以查看vncserver -list返回结果中的RFB PROT。作用是vncserver启动的时候运行这些命令,把桌面程序启动起来。如果希望用某个用户比如 demo登录,就用su切换到这个用户。桌面版默认就已安装,服务器版需要手动安装,并启动。关闭某个会话可以用下面的命令。远程地址输入ip:port。查看全部的vnc会话。_ubuntu vncserver
文章浏览阅读894次,点赞51次,收藏31次。在安卓使用vscode主要是连接一个远程的code-server服务,code-server服务安装在什么系统,调用的就是什么系统的环境,如这里使用ubuntu进行安装code-server,那使用的就是ubuntu环境,如需要go,python,java开发,需要在Ubuntu安装相关环境,创建的文件夹和项目也是在Ubuntu里面.这种方式其实在访问vscode的时候利于可以随时随地进行连接使用,且不受设备影响。
安装Ubuntu上超好用的终端Terminator。通过添加软件源、更新源、安装Terminator等步骤完成。
文章浏览阅读1.1k次,点赞83次,收藏74次。不要嫌弃Ubuntu的单调的终端界面啦,快来试试这些有意思的命令_ubuntu系统有趣的玩法
文章浏览阅读2.5k次。在ubuntu系统中,swap空间就是虚拟内存,所以考虑在磁盘空间富余的目录下设置虚拟内存swap文件,用来缓解内存不足的问题。通过上面的信息可以看到,/dev/vda2 目录下还剩余45G,那么就可以把swap文件生成在/dev/vda2目录下。在系统监控中发现,当数据库服务程序启动后,占用了大量内存空间,导致系统的剩余的内存往往只有几十MB。# bs 为块的大小,count 创建多少个块。# 执行命令后,删除创建的swap目录即可。#把生成的文件转换成 Swap 文件。2、创建一个swap文件。_ubuntu20修改swap大小
文章浏览阅读2.9k次,点赞2次,收藏10次。记录RV1126的SDK编译错误,以及解决处理_command exited with non-zero status 1
文章浏览阅读1.1w次,点赞22次,收藏101次。【记录】ubuntu20.04安装nvidia显卡驱动_ubuntu20.04安装nvidia显卡驱动
文章浏览阅读727次,点赞6次,收藏27次。在嵌入式Linux开发过程中,可能遇到uboot无法通过nfs服务从Ubuntu下载系统镜像(TTTTTT)的问题。如果你使用的是较新版本的Ubuntu,那么其**默认内核将不支持nfs2**!而**uboot仅支持到nfs2**,因此我们需要修改系统内核以及nfs配置文件,开启nfs2服务。**此问题非常棘手**,因为问题出现的时间太近,并且使用的人少。由于是2023年后才出现的问题,**chatgpt也无法解答**!本文参考网络上多篇博客资料,是解决此问题的最新办法。
ubuntu系统下安装软件的方法有多种,包括使用apt工具、deb软件包安装、源码编译安装以及通过软件中心安装。还有一种以 .run 后缀的软件包也可以在ubuntu系统下安装。具体的安装方法可以通过百度搜索来获取。
文章浏览阅读814次。本篇目的:Xubuntu如何安装pkg-configpkg-config是一个计算机软件包,用于帮助开发人员查找、定位和使用依赖库。它通常用于构建软件时,开发人员需要指定程序所依赖的外部库的位置和版本信息。使用pkg-config,开发人员可以很容易地查找、检索和导出这些依赖库的信息,从而简化了软件的构建过程。_ubuntu中怎么下载pkg-config
文章浏览阅读2k次。ubuntu创建共享文件夹_ubuntu20.04共享文件夹
文章浏览阅读2.9k次,点赞74次,收藏73次。对于有长期远程桌面需求的用户,建议将cpolar套餐升级到专业套餐,支持配置固定的公网TCP端口,且带宽也会相应的增大,支持更高效便捷的远程桌面连接Ubuntu系统。【cpolar内网穿透支持http/https/tcp协议,支持永久免费使用,不限制流量,无需公网IP,也不用进入路由器设置,操作简单。隧道创建成功后,点击左侧仪表盘的状态——在线隧道列表,查看xrdp隧道的所生成的公网TCP端口地址,复制下来。,使用cpolar内网穿透映射3389端口,生成公网TCP端口地址,实现在公网环境下,_ubuntu 局域网桌面
文章浏览阅读3.2k次。而在linux的ubuntu版本中,又多出两类用户:安装ubuntu系统的源用户xxx,其与root具有相同权限,仅在执行命令时,前面加sudo。在ubuntu中,用命令deluser username可以直接删除用户账号及家目录,而用centos7中的命令userdel -r username才能达到同样目的。在ubuntu中,没有moduser命令,centos7中的usermod修改用户信息的命令,同样可以用在ubuntu中。在系统中,创建新的用户或称为账号,一般需要多步操作。_ubuntu创建一个新用户
文章浏览阅读1.6w次,点赞4次,收藏23次。系统的许多日志文件都存储在 /var/log 目录中。你可以使用 ls /var/log 命令来列出可用的日志文件。/var/log/Xorg.0.log:包含 X 服务器的日志信息(图形界面)。打开DASH,搜索日志或者log,打开app,这个是/var/log的界面版。这将显示系统日志的末尾,并提供有关系统崩溃和错误的信息。/var/log/kern.log:包含内核日志信息。/var/log/dmesg:包含开机时的日志信息。/var/log/syslog:包含系统日志信息。_ubuntu查看系统日志
文章浏览阅读857次。首先将source.list复制为source.list.bak备份,然后将source.list内容改为需要的镜像源列表即可。Ubuntu采用apt作为软件安装工具,其镜像源列表记录在/etc/apt/source.list文件中。本节均为 Ubuntu 20.04 的镜像源列表。若为其他版本,将所有focal更改为其他版本代号即可。_apt 国内源