web | Java

yarn-client

千锋教育

1. 客户端向yarn的RM申请启动AM,同时在自身的sparkContext中创建DAGScheduler和TASKScheduler(创建driver)


2. 按照正常Yarn流程,一个NM领取到AM任务作为AM与客户端的driver产生连接(在yarn-cluster中该AM直接作为driver而不是连接driver)


3. driver根据任务信息通过AM向RM申请资源(计算容器)


4. AM通知领取到任务的NM向driver的sparkContext反注册并申请Task


5. driver的sparkContext分配Task给各个计算节点,并随时掌握各个任务运行状态


6. 应用程序运行完成后,sparkContext向RM申请注销并关闭自己。


总结:与standalone区别是,AM只作为中间联系,实际作为AM的是driver的sparkContext