如何解决查询在Hive中花费数十亿条记录的时间太长
我有一个包含size: 326.8 MB
和Number of records: 2,012,402,223
的Hive表。由于行数仅为10,因此文件大小不会太大,但是行数太高。
在为此表执行简单的“选择查询”时,进程停留在Mappers上。
我还尝试通过以下属性来增加数量的映射器,但仍然卡住了。
set mapreduce.input.fileinputformat.split.minsize= 2684354;
set mapreduce.input.fileinputformat.split.maxsize= 2684354;
set mapreduce.input.fileinputformat.split.minsize.per.node= 2684354;
set mapreduce.input.fileinputformat.split.minsize.per.rack= 2684354;
请提出关于查询优化的建议。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。