UDN-企业互联网技术人气社区

板块导航

浏览  : 1578
回复  : 0

[数据平台] PPTV大数据集群容器化研究

[复制链接]
独领风骚的头像 楼主
发表于 2016-10-12 09:51:22 | 显示全部楼层 |阅读模式
  背景

  PPTV作为国内视频领域的领先者,对于大规模流媒体的存储、处理、分发及应用,有着迫切的要求。容器技术及微服务模式的出现,使大规模的研发交付效率大为提高。因此我们基于Docker技术打造了DCOS。集群物理资源的调度用Mesos,容器编排用Marathon,并以此为核心,结合Docker和Nginx,开发了DCOS管理控制台,权限管理模块,统一日志管理模块,IP池管理模块,存储管理模块,并与持续集成平台Jenkins集成,实现应用容器的创建、运行。同时我们也有一个独立于容器平台的大数据集群,主要运行批处理任务,它的资源调度系统是Yarn。在容器平台上运行的业务高峰一般发生在白天或晚上的黄金时间,而批处理任务多数运行在深夜。这样就产生一个需求,如果能够统一调度这两个集群的物理资源,业务繁忙的白天将更多的资源用于容器平台,到了深夜就将资源更多地用于批处理任务,就能更有效的节约成本。但是这两个集群采用了两个不同的资源调度系统Mesos和Yarn,使共享资源成为一个课题。本篇介绍了通过Apache Myriad项目解决这一课题的研究。

  Mesos资源调度简介
10.png

  图 1

  图1是官方的一个例子。Mesos集群由提供资源的Agent、负责调度资源的Mesos master以及使用资源的Framework构成。

  Agent将自己的资源(CPU、内存等)报告给Mesos master。

  Mesosmaster根据策略将资源提供(offer)给Framework。

  Framework再根据自己的策略决定哪个task在哪台Agent执行。

  通过Mesos master通知相应的Agent去执行。

  这里可以看出Mesos是一个两级调度系统。Mesos本身只对Framework做资源调度,然后由各个Framework根据自己的策略针对Task进行资源调度。

  Yarn资源调度简介
9.png

  图 2

  图2是Yarn的资源调度架构图。与Mesos类似由提供资源的NodeManager、负责调度资源的ResourceManager、使用资源的Application(图中的AppMaster)构成。

  NodeManager将自己的资源(CPU、内存等)报告给ResourceManager。

  Client向ResourceManager提交作业(相当于一个Application)。

  ResourceManager为Application启动一个AppMaster。

  AppMaster为Application向ResourceManager请求资源。

  ResourceManager根据调度策略为Application分配资源,并通知相应的NodeManager去执行task。

  Yarn也可以说是一个两级调度系统,但是AppMaster只能向ResourceManager请求资源(同时可以设定一些条件),最终哪个NodeManager执行哪个task则是由ResourceManager决定。相比Mesos的Framework自己决定执行task的Agent,AppMaster的调度权限比较低。

  Apache Myriad:集成Mesos&Yarn

  基本思路:把Yarn当作Mesos上的一个Framework来使用。
8.png

  图 3

  如图3所示,ResourceManager中的YarnScheduler被MyriadScheduler取代了。MyriadScheduler继承YarnScheduler并实现了MesosFramework Scheduler接口。这样ResourceManager就能够接受Mesos master提供(offer)的资源,并且还具有原来Yarn Scheduler一样的功能。另外Myriad还实现了管理NodeManager的Executor。整个过程是:

  Agent 1(黄色文本框中S1) 报告资源给Mesos master。

  Mesos master按照策略提供资源(这里是Agent1的一半)给ResourceManager。

  ResourceManager接受Mesosmaster提供的资源,要求Mesos master在Agent1上启动NodeManager1(黄色文本框中NM1)。

  Agent1启动NodeManager1。

  NodeManager 1将自己的资源(来源于之前Mesosmaster的offer)报告给ResourceManager。

  于是在Mesos集群上建立了一个Yarn集群,其资源来源于Mesosmaster的offer,也就是说Yarn被置于Mesos的管理之下。为了方便Yarn集群动态扩、缩容,Myriad还提供了相应的WebUI和WebAPI。通过这个方案,实现了Yarn集群和Mesos集群共享物理资源。

  实例
7.png

  图 4
6.png

  图 5
5.png

  图 6

  如图4所示,我们在Mesos上启动了一个叫做“MyriadAlpha”的Myriad Framework,并拥有1个task(“4.4CPU,5.4G内存”),如图5可以从Myriad的WebUI上看到该task,其实该task对应了一个NodeManager。如图6(ResourceManager的WebUI)显示了该NodeManager所在的物理机以及向ResourceManager报告的资源(“4VCore,4G内存”,※配置了1CPU=1VCore)。Mesos和ResourceManager上显示的资源差是NodeManager本身使用的资源。

  接下来我们利用Myriad的WebUI(也提供了WebAPI)对Yarn集群进行扩容。
4.png

  图 7

  如图7所示我们将增加2个NodeManager,每个NodeManager向Yarn集群提供“2CPU,2G内存”。
3.png

  图 8

  如图8显示增加了2个Task(对应于NodeManager)。
2.png

  图 9

  如图9 ResourceManager WebUI显示已有2个NodeManager加入集群,提供的资源均为“2VCore,2GB内存”。
1.png

  最后如图10 Mesos WebUI上显示了启动的Task(也就是NodeManager)数和已分配的资源。

  总结

  通过Apache Myriad,Mesos可以统一地管理整个数据中心的物理资源,然后由ResourceManager从中获得资源建立Yarn集群并进行扩、缩容。这样本来运行于Yarn上面的应用如MapReduce、Tez、Hive等就能不加改变的运行(还是由Yarn来调度),但是它们使用的物理资源来源于Mesos。另外随着Yarn的Docker Container Executor(DCE) 项目的完成,将实现整个集群的容器化。

  文中为了便于说明这个过程上面的例子是手动进行的,如果利用“Fine-grained Scaling”,Myriad可以根据执行作业需要的实际资源动态的对NodeManager进行扩、缩容(具体细节与上例有差别)。

原文作者:郑辉 Docker

相关帖子

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们
联系我们
  • 电话:010-86393388
  • 邮件:udn@yonyou.com
  • 地址:北京市海淀区北清路68号
移动客户端下载
关注我们
  • 微信公众号:yonyouudn
  • 扫描右侧二维码关注我们
  • 专注企业互联网的技术社区
版权所有:用友网络科技股份有限公司82041 京ICP备05007539号-11 京公网网备安1101080209224 Powered by Discuz!
快速回复 返回列表 返回顶部