如何解决输入格式负责在Hadoop的MapReduce中实现数据局部性吗?
| 我试图了解与Hadoop的Map / Reduce框架相关的数据局部性。特别是我试图了解哪个组件处理数据局部性(即它是输入格式吗?) Yahoo的开发人员网络页面指出:“然后Hadoop框架使用来自分布式文件系统的知识,将这些过程安排在数据/记录的位置附近。”这似乎暗示着HDFS输入格式可能会查询名称节点,以确定哪些节点包含所需的数据,并在可能的情况下在这些节点上启动地图任务。可以想象通过查询以确定哪些区域正在为某些记录提供服务,HBase可以采用类似的方法。 如果开发人员编写自己的输入格式,他们将负责实现数据局部性吗?解决方法
你是对的。如果您正在查看
FileInputFormat
类和getSplits()
方法。它搜索Blocklocations:
BlockLocation[] blkLocations = fs.getFileBlockLocations(file,length);
这意味着文件系统查询。这种情况发生在“ 3”内部,结果被写入SequenceFile(实际上只是原始字节码)。
因此,Jobtracker稍后会在初始化作业时读取此文件,并且几乎只是将任务分配给输入拆分。
但是数据的分发是NameNodes作业。
现在对您的问题:
通常,您是从“ 0”开始扩展的。因此,您将被迫返回InputSplit
的列表,并且在初始化步骤中,此类操作需要设置拆分的位置。例如FileSplit
:
public FileSplit(Path file,long start,long length,String[] hosts)
因此,实际上您并没有实现数据局部性,您只是在告诉可以在哪个主机上找到拆分。可通过FileSystem
界面轻松查询。
,穆的理解是,数据局部性是由HDFS和InputFormat共同确定的。前者确定(通过机架感知)并存储跨数据节点的HDFS块的位置,而后者将确定哪些块与哪个拆分相关联。作业跟踪程序将通过确保与每个拆分相关联的块(1个拆分为1个映射任务映射)在任务跟踪程序本地,来尝试优化将哪些拆分传递到哪个映射任务。
不幸的是,这种保证局部性的方法保留在同质群集中,但在不均质的群集中会崩溃,即每个数据节点的硬盘大小不同。如果您想对此进行更深入的研究,则应该阅读本白皮书(通过在异构hadoop集群中放置数据来提高MapReduce性能),其中还涉及了与您的问题相关的多个主题。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。