Spark修炼之道(高级篇)——Spark源码阅读:第五节 Stage提交

  • 时间:
  • 浏览:0
  • 来源:万人炸金花APP_万人炸金花APP官网

在下一节中,将对taskScheduler.submitTasks最好的土办法进行介绍,讲解怎么进行Task的提交。

调用流程:

1.org.apache.spark.scheduler.DAGScheduler.handleJobSubmitted

2. org.apache.spark.scheduler.DAGScheduler.handleJobSubmitted.submitStage

3. org.apache.spark.scheduler.DAGScheduler.handleJobSubmitted.submitMissingTasks

4. org.apache.spark.scheduler.TaskScheduler.submitTasks

通过submitStage最好的土办法提交finalStage,最好的土办法会递归地将finalStage依赖的父stage先提交,最后提交finalStage,具体代码如下:

从底下的代码都要能看后,最终通过submitMissingTasks将Stage提交,其源代码如下: