Yarn的工作流程

Hadoop 潘老师 8个月前 (02-24) 633 ℃ (0) 扫码查看

1、首先我们来看YARN工作流程图:

Yarn的工作流程

2、YARN工作流程注意包括以下几个步骤:

1.首先用户向YARN中的ResouceManager提交应用程序,包括用户程序、启动ApplicationMaster命令和ApplicationMaster程序等。

2.ResourceManager为该应用程序分配Container,随后与Container所在的NodeManager进行通信,并且由NodeManager在Container中启动对应的ApplicationMaster。

3.ApplicationMaster会在ResourceManager中进行注册,目的是让用户可以直接通过ResourceManager查看应用程序的运行情况,然后它会为这个应用程序的各项任务申请资源,同时监控其运行状态,直到运行结束

4.ApplicationMaster采用的轮询方式,基于RPC协议向ResourceManager 的 scheduler申请和领取资源

5.在ApplicationMaster申请到资源后,它会和申请到的Container所对应的NodeManager进行交互通信,同时要求在该Container中启动任务。

6.NodeManager为要启动的任务准备好运行环境,并且将启动命令写在一个脚本中,通过该脚本来运行任务。

7.每个任务基于RPC协议向对应的ApplicationMaster汇报自己的运行状态和进度,以便让ApplicationMaster随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务。

8.应用程序运行完成后,期对应的ApplicationMaster会通过与ResourceManager通信来要求注销并关闭自己。


版权声明:本站所有文章,如无特殊说明,均为本站原创。全部下载资源版权归原作者所有。任何个人或组织,若未征得本站同意,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。若需转载请注明文章来源。
本文链接:Yarn的工作流程
喜欢 (1)
请潘老师喝杯Coffee吧!】
分享 (0)
用户头像
发表我的评论
取消评论
表情 贴图 签到 代码

Hi,您需要填写昵称和邮箱!

  • 昵称【必填】
  • 邮箱【必填】
  • 网址【可选】

您也可以 微信登录 来发表评论!