标签存档: Yarn

Yarn的内存超出指定的 yarn.nodemanager.resource.memory-mb 的解决过程

作者: 日期: 2021年5月28日 1 条评论 | 1,590 views

背景

集群背景：48Core，256GMem，24台节点的集群。每台节点给Nodemanager分配了128G。

问题

结果一次大型任务运行时，150亿的表和400亿的表做join时，每台节点的内存居然100%打满了。我这里的100%是整个节点的100%，而我们给所有大数据的组件内存才不到20[……]

Read more