Application report for application_1677722477520_0002 (state: ACCEPTED)
一直在这个没有在服务端设置本地域名,多个客户端或者防火墙导致spark-driver excutor通信失败spark(driver)-----> (excutor)ResourceManager(yarn)NodeManager(hadoop对外通信单元) (管理hadoop namenode(索引) 和datanode)ApplicationMaster(yarn) NodeManager(h
一直在这个没有在服务端设置本地域名,多个客户端或者防火墙导致spark-driver excutor通信失败
spark(driver)-----> (excutor)ResourceManager(yarn) NodeManager(hadoop对外通信单元) (管理hadoop namenode(索引) 和datanode)
ApplicationMaster(yarn) NodeManager(hadoop)
二 AM与RM的具体交互
1.用户向YARN ResourceManager提交应用程序,RM收到提交申请后。先向资源调度器申请用以启动AM
的资源,待申请到资源后,再由ApplicationMasterLauncher与相应的NodeManager通信,从而启动应用程序的ApplicationMaster.
2.ApplicationMaster启动完毕后,ApplicationMasterLaucher会通过事件的形式,将刚刚启动的Application Master注冊到AMLiveMonitor,以启动心跳监控。
3.ApplicationMaster启动后,先向ApplicatinMaterService注冊。并将自己所在host、port号等信息汇报给它。
4.AM执行过程中,周期性地向ApplicationMaserService回报心跳信息(信息中包括想要申请的资源描写叙述)。
5. ApplicationMasterService每次收到ApplicationMaster心跳信息好后,将通知AMLivelinessMonitor更新应用程序的最新回报心跳的时间。
6.应用程序执行完毕后,AM向AMService发送请求,注销自己。
7.AMService收到注销请求后,标注应用程序执行状态完毕。同一时候通知AMLivelinessMonitor移除对它的心跳监控
当用户向YARN中提交一个应用程序后,YARN将分两个阶段执行该应用程序:第一个阶段是启动
ApplicationMaster;第二个阶段是由ApplicationMaster创建应用程序,为它申请资源,并监控它的整个执行过程。直到运行完毕
更多推荐
所有评论(0)