如何解决多节点 hadoop 集群的纱线配置
我对多节点 hadoop 集群的纱线配置感到困惑。
我在 Hadoop 中有多节点(3 个节点)。我有 4 个虚拟机(1 个主节点和 3 个数据节点)。我的主机是 Windows,4 VM 是 Linux ubuntu。在我的 Virtualbox 上,我选择了固定大小的分配,它从我的主机中获取了实际大小。
- 192.112.56.1(主节点 - 30GB RAM、6 核 Vcpu、40GB 硬盘)
- 192.112.56.2(datanode1 - 24GB RAM,6 核 Vcpu,100GB 硬盘)
- 192.112.56.3(datanode2 - 24GB RAM,6 核 Vcpu,100GB 硬盘)
- 192.112.56.3(datanode3 - 24GB RAM,6 核 Vcpu,100GB 硬盘)
这是我的纱线配置: 纱线站点.xml
<configuration>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20000</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>5</value>
</property>
</configuration>
这是我的 mapred-site.xml 文件:
<configuration>
<property>
<name>mapreduce.map.memory.mb</name>
<value>2048</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>4096</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx1638m</value>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx3278m</value>
</property>
<property>
<name>mapreduce.map.cpu.vcores</name>
<value>2</value>
</property>
<property>
<name>mapreduce.reduce.cpu.vcores</name>
<value>3</value>
</property>
</configuration>
我的输入数据大小为 26GB。我一直保存在 hdfs 中。
我对 Hadoop 非常陌生。请让我知道我必须如何配置 yarn-site.xml 和 mapred-sit.xml 文件。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。