UDN-企业互联网技术人气社区

板块导航

浏览  : 736
回复  : 0

[技术交流] 基于Docker搭建Hadoop集群之升级版

[复制链接]
舞操的头像 楼主
发表于 2016-6-14 18:39:14 | 显示全部楼层 |阅读模式
  一. 项目介绍

  将Hadoop打包到Docker镜像中,就可以快速地在单个机器上搭建Hadoop集群,这样可以方便新手测试和学习。

  如下图所示,Hadoop的master和slave分别运行在不同的Docker容器中,其中hadoop-master容器中运行NameNode和ResourceManager,hadoop-slave容器中运行DataNode和NodeManager。NameNode和DataNode是Hadoop分布式文件系统HDFS的组件,负责储存输入以及输出数据,而ResourceManager和NodeManager是Hadoop集群资源管理系统YARN的组件,负责CPU和内存资源的调度。

a.png


  之前的版本使用serf/dnsmasq为Hadoop集群提供DNS服务,由于Docker网络功能更新,现在并不需要了。更新的版本中,使用以下命令为Hadoop集群创建单独的网络:

  
  1. sudo Docker network create --driver=bridge hadoop
复制代码


  然后在运行Hadoop容器时,使用”—net=hadoop”选项,这时所有容器将运行在hadoop网络中,它们可以通过容器名称进行通信。

  项目更新要点:

  去除serf/dnsmasq

  合并Master和Slave镜像

  使用kiwenlau/compile-hadoop项目编译的Hadoo进行安装

  优化Hadoop配置

  二. 3节点Hadoop集群搭建步骤

  1. 下载Docker镜像

  
  1. sudo Docker pull kiwenlau/hadoop:1.0
复制代码


  2. 下载GitHub仓库

  
  1. git clone https://github.com/kiwenlau/hadoop-cluster-Docker
复制代码


  3. 创建Hadoop网络

  
  1. sudo Docker network create --driver=bridge hadoop
复制代码


  4. 运行Docker容器

  
  1. cd hadoop-cluster-Docker

  2.   ./start-container.sh
复制代码


  运行结果

  
  1. start hadoop-master container...

  2.   start hadoop-slave1 container...

  3.   start hadoop-slave2 container...

  4.   root@hadoop-master:~#
复制代码


  启动了3个容器,1个master, 2个slave

  运行后就进入了hadoop-master容器的/root目录

  5. 启动hadoop

 
  1.  ./start-hadoop.sh
复制代码


  6. 运行wordcount

  
  1. ./run-wordcount.sh
复制代码


  运行结果

  1. input file1.txt:
  2. Hello Hadoop
  3. input file2.txt:
  4. Hello Docker
  5. wordcount output:
  6. Docker        1
  7. Hadoop        1
  8. Hello        2
复制代码


  Hadoop网页管理地址:

  NameNode: http://192.168.59.1:50070/

  ResourceManager: http://192.168.59.1:8088/

  192.168.59.1为运行容器的主机的IP。

  三. N节点Hadoop集群搭建步骤

  1. 准备

  参考第二部分1~3:下载Docker镜像,下载GitHub仓库,以及创建Hadoop网络

  2. 重新构建Docker镜像

  
  1. ./resize-cluster.sh 5
复制代码


  可以指定任意N(N>1)

  3. 启动Docker容器

  
  1. ./start-container.sh 5
复制代码


  与第2步中的N保持一致。

  4. 运行Hadoop

  参考第二部分5~6:启动Hadoop,并运行wordcount。

  参考

  基于Docker搭建多节点Hadoop集群

  How to Install Hadoop on Ubuntu 13.10

原文作者:佚名  来源:开发者头条

相关帖子

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们
联系我们
  • 电话:010-86393388
  • 邮件:udn@yonyou.com
  • 地址:北京市海淀区北清路68号
移动客户端下载
关注我们
  • 微信公众号:yonyouudn
  • 扫描右侧二维码关注我们
  • 专注企业互联网的技术社区
版权所有:用友网络科技股份有限公司82041 京ICP备05007539号-11 京公网网备安1101080209224 Powered by Discuz!
快速回复 返回列表 返回顶部