参考Blog
DAGScheduler.submitMissingTasks(stage: Stage, jobId: Int)
方法中的最后几行，有一个
taskScheduler.submitTasks(new TaskSet(
tas[......]
分类存档: Spark
Spark Task的调度——源码分析
作者: LoserZhao
日期: 2021年5月28日
没有评论 | 295 views
Spark资源调度算法——源码分析
作者: LoserZhao
日期: 2021年5月28日
没有评论 | 202 views
描述
为了运行一个应用程序，Spark首先根据应用程序资源需求构建一个运行时环境，这是通过与资源管理器交互来完成的。通常而言，存在两种运行时环境构建方式：粗粒度和细粒度。
粗粒度
应用程序被提交到集群之后，它在正式运行任务之前，将根据应用程序资源需求一次性将这些资源凑齐，之后使用这些资源运行任[……]
SparkContext——TaskScheduler源码分析
作者: LoserZhao
日期: 2021年5月28日
没有评论 | 87 views
环境
Spark 1.6.3
SparkContext的初始化变量
从SparkContext从上一直阅读初始化成员变量，发现在这一段，开始给 SchedulerBackend、TaskScheduler、 DAGScheduler进行初始化。
而初始化方式是
[crayon-6741828[……]
近期评论