分类存档: Hadoop

Yarn的内存超出指定的 yarn.nodemanager.resource.memory-mb 的解决过程

作者: 日期: 2021年5月28日 1 条评论 | 1,590 views

背景

集群背景：48Core，256GMem，24台节点的集群。每台节点给Nodemanager分配了128G。

问题

结果一次大型任务运行时，150亿的表和400亿的表做join时，每台节点的内存居然100%打满了。我这里的100%是整个节点的100%，而我们给所有大数据的组件内存才不到20[……]

Read more

Hadoop2.6.5源码分析-NameNode核心启动流程

作者: 日期: 2021年5月28日 没有评论 | 523 views

1. 概述

我们要分析HDFS-NameNode的启动流程，就得从启动脚本开始一步步分析，当然开始之前，我们需要编译Hadoop的源码，具体的编译流程请参考我另外一篇博客 hadoop2.6.5源码编译。

2. start-dfs.sh

2.1. 介绍

我们启动Hadoop在2[……]

Read more