如何解决如何仅将非空减速器的输出保存在HDFS中
| 在我的应用程序中,reducer将所有零件文件保存在HDFS中,但是我只希望reducer写入大小不为0bytes的零件文件。请让我知道如何定义它。解决方法
可能-请参见\“惰性输出\”上的文档部分:
http://hadoop.apache.org/mapreduce/docs/current/mapred_tutorial.html#Lazy+Output+Creation
import org.apache.hadoop.mapreduce.lib.output.LazyOutputFormat;
LazyOutputFormat.setOutputFormatClass(job,TextOutputFormat.class);
,如果您使用的是旧版API,则可以使用NullOutputFormat
类:
import org.apache.hadoop.mapred.lib.NullOutputFormat;
conf.setOutputFormat(NullOutputFormat.class);
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。