- 组件:
Hadoop三大核心组件:
HDFS(Hadoop Distributed File System):
分布式文件系统,数据存放在这里,提供对应用程序数据的高吞吐量访问。
YARN(Yet Another Resource Negotiator):
资源管理调度系统,分配比如硬盘内存等资源。用这些资源来运行程序的计算
MapReduce:
分布式运算框架程序等在这里,这是基于YARN的用于并行处理大数据集的系统。
除了以上四个模块,Hadoop还包括指向可以安装在Hadoop之上或之上的附加软件包的收集,例如Apache Pig,Apache Hive,Apache HBase,Apache Spark等。
- 怎么使linux上网:
确保所有关于VMWare的服务都开启
计算机 --> 右键 ‘管理’–>服务
确保VMnet8 已经启动
设置VMware软件交换机的ip地址
再次确定
更改linux系统的ip地址
vim /etc/sysconfig/network-scripts/ifcfg-eth0
ONBOOT=true是指明在系统启动时是否激活网卡,只有在激活状态的网卡才能去连接网络,进行网络通讯
BOOTPROTO=static 静态IP
BOOTPROTO=dhcp 动态IP
BOOTPROTO=none 无(不指定)
重启网卡服务
测试
- 关闭防火墙
查看防火墙状态
service iptables status
修改防火墙规则
vim /etc/sysconfig/iptables
设置完成后,需要重启防火墙.
重启防火墙
service iptables restart
关闭防火墙服务
service iptables stop
禁止防火墙关机自启动
chkconfig iptables off
查看自启动状态
chkconfig iptables --list
注意: 在实际工作,大数据集群一般都是放置在内网当中,通过跳板机连接外网.**
所以一般都是直接关闭防火墙即可, 但是在实际工作中,跳板机(web服务器)关闭防火墙要谨慎,避免服务器感染病毒
服务的套路:
service xxx start 开启
service xxx stop 停止
service xxx restart 重启
service xxx status 状态
- 复制linux系统
复制虚拟机
开启复制之后的虚拟机
注意:点击.vmx结尾的文件,就可以挂载上了
重命名
更改新增linux的mac地址
更改新增linux系统的网卡
vim /etc/udev/rules.d/70-persistent-net.rulesw
更改新增linux系统的网络设置
vim /etc/sysconfig/network-scripts/ifcfg-eth0
使用 reboot指令重启系统, 再次验证
- 更改主机名
vim /etc/sysconfig/network
内容
HOSTNAME=hadoop1
同理 更改每台linux的主机名
HOSTNAME=hadoop1
HOSTNAME=hadoop2
HOSTNAME=hadoop3
注意: 必须重启系统才可以生效
更改三台机器的主机名与ip地址的映射
vim /etc/hosts
192.168.72.141 node01
192.168.72.142 node02
192.168.72.143 node03
三台虚拟机关闭selinux
vim /etc/selinux/config
SELINUX=disabled
关机重启才会生效.
原文地址:https://blog.csdn.net/PhilBk/article/details/100084556
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。