微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Hadoop学习之安装伪分布式

伪分布式安装:启动HDFS和YARN      参考Apache官网伪分布式的配置和启动

一、启动HDFS

1、配置etc/hadoop/core-site.xml 查看hadoop目录 命令:[root@hadoop01 hadoop­2.7.3]# cd ./etc/hadoop/ 命令:[root@hadoop01 hadoop]# ll

 

配置hadoop默认服务访问名,localhost代表本机,可以改成之前设置的主机名称hadoop01 命令:[root@hadoop01 hadoop]# vi core-site.xml    在文件后面添上如下语句 端口号为9000    把hadoop01换成你的虚拟机的ip即可或者你的主机名(看个人设计)  

  配置hdfs产生的临时文件的目录。原本默认是放在根路径下的/tmp,有时候会被删除掉,因此自定义一下。 进入hadoop目录为他创建临时目录 命令:[root@hadoop01 hadoop]# cd /usr/local/hadoop-2.7.3/ 命令:[root@hadoop01 hadoop-2.7.3]# mkdir -p data/tmp tips:mkdir -p 帮助你直接将所需要的目录(包含上一级目录)都创建起来! 进入刚才创建的目录把路径拿到配置文件中 命令:[root@hadoop01 hadoop-2.7.1]# cd data/tmp/ 命令:[root@hadoop01 tmp]# pwd

 

修改etc/hadoop/core-site.xml配置文件 命令:[root@hadoop01 tmp]# cd /usr/local/hadoop-2.7.3/ 命令:[root@hadoop01 hadoop-2.7.3]# cd ./etc/hadoop/ 命令:[root@hadoop01 hadoop]# vi core-site.xml     在文件后面添上如下语句

 

2、配置etc/hadoop/hdfs-site.xml 配置副本复制数量。伪分布式是在一台节点上运行的,如果设置的副本复制数量>1时,副本需要复制到其他节点上,因此伪分布式环境下副本复制数量值必须设置为1。 进入etc/hadoop/hdfs-site.xml 命令:[root@hadoop01 hadoop]# vi hdfs-site.xml    在文件后面添上如下语句

 

3,格式化NameNode  格式化文件系统     命令:[root@hadoop01 hadoop]# hdfs namenode -format  

 

4,启动namenode 命令:[root@hadoop01 hadoop]# cd .. 命令:[root@hadoop01 etc]# cd .. 命令:[root@hadoop01 hadoop-2.7.3]# sbin/hadoop-daemon.sh start namenode  5,启动datanode 命令:[root@hadoop01 hadoop-2.7.3]# sbin/hadoop-daemon.sh start datanode  通过jps命令查看java进行的进程,此时namenode和datanode启动成功  

 

 

(注:如果namenode没启动成功则可能是主机名称之前没配好,回到core-site.xml文件把hadoop01换成你的虚 拟机的ip即可;也可能是默认的临时目录路径没修改,去加个临时目录路径)

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐