我正在使用java,我正在尝试编写一个mapreduce,它将接收一个包含多个gz文件的文件夹.
我一直在寻找,但我发现的所有教程都放弃了如何处理简单的文本文件,但没有找到解决我问题的任何东西.
我在我的工作场所问过,但只提到scala,我并不熟悉.
任何帮助,将不胜感激.
解决方法:
Hadoop检查文件扩展名以检测压缩文件. Hadoop支持的压缩类型有:gzip,bzip2和LZO.您无需采取任何其他操作来使用这些类型的压缩来提取文件; Hadoop为您处理它.
所以你要做的就是像编写文本文件一样编写逻辑,然后传入包含.gz文件的目录作为输入.
但是gzip文件的问题在于它们不是可拆分的,假设你有每个5GB的gzip文件,那么每个映射器将处理整个5GB文件,而不是使用默认的块大小.
原文地址:https://codeday.me/bug/20190830/1767768.html
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。