如何解决如何更改mapreduce / hive作业中的物理内存?
我正在尝试在具有40个工作节点和单个主节点的EMR集群上运行Hive INSERT OVERWRITE
查询。
但是,当我运行INSERT OVERWRITE
查询时,Stage-1 map = 100%,reduce = 100%,Cumulative CPU 180529.86 sec
在这种状态下,我得到以下错误:
Ended Job = job_1599289114675_0001 with errors
Diagnostic Messages for this Task:
Container [pid=9944,containerID=container_1599289114675_0001_01_041995] is running beyond physical memory limits. Current usage: 1.5 GB of 1.5 GB physical memory used; 3.2 GB of 7.5 GB virtual memory used. Killing container.
Dump of the process-tree for container_1599289114675_0001_01_041995 :
我不确定如何更改1.5 GB的物理内存号。在我的配置中,我看不到这样的数字,也不知道如何计算1.5 GB的数字。
我什至尝试按照某些论坛的建议将"yarn.nodemanager.vmem-pmem-ratio":"5"
更改为5。但是无论此更改如何,我仍然会收到错误消息。
这是工作开始的方式:
Number of reduce tasks not specified. Estimated from input data size: 942
Hadoop job information for Stage-1: number of mappers: 910; number of reducers: 942
这就是我的configuration file在集群中的样子。我无法理解必须更改哪些设置才不会遇到此问题。也可能是由于 Tez 设置引起的吗?尽管我没有将它用作引擎。
任何建议将不胜感激,谢谢。
解决方法
在打开hive控制台时,将以下内容附加到命令
<!-- Latest compiled and minified CSS -->
<link rel="stylesheet" href="https://maxcdn.bootstrapcdn.com/bootstrap/4.5.2/css/bootstrap.min.css">
<!-- jQuery library -->
<script src="https://ajax.googleapis.com/ajax/libs/jquery/3.5.1/jquery.min.js"></script>
<!-- Popper JS -->
<script src="https://cdnjs.cloudflare.com/ajax/libs/popper.js/1.16.0/umd/popper.min.js"></script>
<!-- Latest compiled JavaScript -->
<script src="https://maxcdn.bootstrapcdn.com/bootstrap/4.5.2/js/bootstrap.min.js"></script>
<a class="pdfId btn btn-success" data-id="1" data-adress="123 example street" data-city="Earth" data-postcode="46000" data-toggle="modal" data-target="#myModal">View</a>
<a class="pdfId btn btn-success" data-id="2" data-adress="100 example street" data-city="Earth" data-postcode="46000" data-toggle="modal" data-target="#myModal">View 2</a>
<a class="pdfId btn btn-success" data-id="3" data-adress="150 example street" data-city="Earth" data-postcode="46000" data-toggle="modal" data-target="#myModal">View 3</a>
<div id="myModal" class="modal fade" role="dialog">
<div class="modal-dialog">
<div class="modal-content">
<div class="modal-header">
<button type="button" class="close" data-dismiss="modal">×</button>
<h4 class="modal-title">View</h4>
</div>
<div class="modal-body">
<span id="orderID"></span>
<br>
<span id="Address"></span>
</div>
<div class="modal-footer">
<button type="button" class="btn btn-default" data-dismiss="modal">Close</button>
</div>
</div>
</div>
</div>
如果仍然出现Java堆错误,请尝试增加到更高的值,但请确保mapreduce.map.java.opts不超过mapreduce.map.memory.mb。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。