用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker

摘要:
如果要在计算机上构建多节点Hadoop集群,传统的方法是使用多个虚拟机。本文不能帮助您掌握Docker,但它可以帮助您快速入门并构建这个集群,前提是您了解Hadoop和Linux。安装Docker的Linux系统称为Docker主机。虽然Docker比虚拟机节省了大量资源,但Hadoop并不节省资源。DockerCE是免费的,DockerEE是收费的。DockerCEEdge每1个月发布一个版本,DockerCEStaple每3个月发布版本。

如果想在一台电脑上搭建一个多节点的Hadoop集群,传统的方式是使用多个虚拟机。但这种方式占用的资源比较多,一台笔记本能同时运行的虚拟机的数量是很有限的。这个时候我们可以使用Docker。Docker可以看做是一种轻量级的虚拟机,占用资源少,用起来和传统的虚拟机很像,使用的时候可以类比VMware或VirtualBox。
本文不能让你精通Docker,但能让你快速上手,并搭建好这个集群,前提是你对Hadoop和Linux有所了解。

〇、准备工作

1.准备Docker宿主机
目前Docker只能运行在内核版本为3.10或以上的64位Linux上。安装Docker的Linux系统称为Docker的宿主机。如果你的系统不符合,可以先安装一台符合要求的虚拟机,然后再在这个虚拟机上使用Docker。我的笔记本是Windows系统,装了一台64位CentOS7.3虚拟机做演示。由于要将10个节点都跑在一台虚拟机上,所以给这台虚拟机分配的资源不能太少,否则会有问题。虽然Docker比虚拟机省了不少资源,但Hadoop需要的资源省不了啊。我给分配了2个核,4G内存,这比用10台虚拟机需要的资源还是小很多的。另外因为只需要一台Linux,所以在笔记本上装双系统也是可以的。

2.准备相关软件
JDK使用jdk-7u80-linux-x64
Hadoop使用hadoop-2.7.3
将JDK和Hadoop提前下载并减压,放到Docker宿主机上备用。

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker第1张

一、安装Docker

现在Docker分为社区版Docker CE和企业版Docker EE。Docker CE免费,Docker EE收费。Docker CE又分为Docker CE Edge和Docker CE Stable。Docker CE Edge每1个月发布一个版本,Docker CE Stable每3个月发布一个版本。Stable表示稳定版,所以下面只介绍Docker CE Stable。

1.安装yum-utils

$ sudo yum install -y yum-utils

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker第2张

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker第3张


2.添加Docker CE的yum源

$ sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker第4张

3.更新yum包索引

$ sudo yum makecache fast

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker第5张

4.安装Docker CE

$ sudo yum install docker-ce

安装过程中如有类似Is this ok [y/N]的提问,都输入y,然后回车即可。直到最后显示“Complete!”表示安装成功!

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker第6张

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker第7张

二、Docker初体验

1.启动Docker

$ sudo systemctl start docker

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker第8张

2.查看Docker版本

$ sudo docker -v

默认安装的是最新版本,我们可以看到当前最新版本是Docker version 17.03.1-ce, build c6d412e。

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker第9张

3.运行hello world示例

$ sudo docker run hello-world

官方给提供了一个hello-world示例,用来测试Docker是否正常工作。第一次运行时,Docker需要从官网下载该示例,不过很小,下载很快。只要能输出下面的英文,就说明hello-world示例运行成功了!

Hello from Docker!
This message shows that your installation appears to be working correctly.

To generate this message, Docker took the following steps:
 1. The Docker client contacted the Docker daemon.
 2. The Docker daemon pulled the "hello-world" image from the Docker Hub.
 3. The Docker daemon created a new container from that image which runs the
    executable that produces the output you are currently reading.
 4. The Docker daemon streamed that output to the Docker client, which sent it
    to your terminal.

To try something more ambitious, you can run an Ubuntu container with:
 $ docker run -it ubuntu bash

Share images, automate workflows, and more with a free Docker ID:
 https://cloud.docker.com/

For more examples and ideas, visit:
 https://docs.docker.com/engine/userguide/

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker第10张


4.去掉sudo
对于非root用户,很多Docker命令都必须用sudo才能正常执行。比如不用sudo运行刚才的hello-world示例会出现下面的错误提示:

[chengyujia@localhost ~]$ docker run hello-world
docker: Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Post http://%2Fvar%2Frun%2Fdocker.sock/v1.27/containers/create: dial unix /var/run/docker.sock: connect: permission denied.
See 'docker run --help'.

老用sudo挺麻烦的,下面介绍解决的办法。Docker在安装的时候会生成一个叫docker的用户组,只要把你使用的用户加到这个组里就能免sudo了。
下面我们来加入docker组

$ sudo usermod -aG docker chengyujia

然后退出当前shell,重新登录一下,以后就不用sudo了。

三、Docker中的一些概念

1.镜像image和容器container
如果将Docker比作是VMware,镜像可以比作是ISO文件,容器可以比作是安装好的虚拟机。镜像不能直接使用,通过镜像可以创建容器,然后我们使用容器。在使用上,容器和虚拟机很像,我们在容器里可以随便折腾,折腾坏了也没关系,只要相应的镜像在,随时可以创建一个新的容器。而且无论是创建容器还是启动容器都比虚拟机快很多。

2.查看本机上的镜像

$ sudo docker images

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker第11张
先介绍一下相关的词义:
REPOSITORY  可以理解为镜像的名称。
TAG       可以理解为镜像的版本。
IMAGE ID    镜像的编号。在创建镜像时自动生成。
CREATED    镜像的创建时间。
SIZE       镜像的大小。
从截图上可以看到,现在只有一个叫hello-world的镜像,就是刚才我们运行hello-world示例自动下载的。默认会下载最新版,也就是TAG为latest的版本,镜像编号为48b5124b2768,创建于4个月前,大小为1.84kB。

3.查看本机上的容器

$ sudo docker ps -a

命令中的-a参数表示显示所有容器,否则只显示正在运行的容器。

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker第12张
同样先介绍一下相关的词义:
CONTAINER ID  容器的编号。在创建容器时自动生成。
IMAGE      镜像名称或镜像编号。用来指明该容器是用哪个镜像创建的。
COMMAND    容器启动后执行的命令。
CREATED     容器创建的时间。
STATUS     容器的当前状态。Exited表示容器处于退出状态,类似于电脑“已关机”;Up表示容器正在运行。
PORTS       端口映射。如果有的话也只能在运行状态才能看到。具体情况后面搭集群时再介绍。
NAMES       容器名称。这个可以自己指定或修改,但不能和其它容器的名称相同。如果不指定,Docker会自动生成。
从截图上可以看到,当前只有一个容器,就是刚才的hello-world示例,容器编号为42989ad0874a,使用hello-world镜像创建,启动后执行一个叫hello的命令,创建于12分钟前,现在处于退出状态,docker自动给起了个名字elegant_mccarthy。

4.刚才hello-world示例中生成的容器是不是就能像虚拟机一样用了呢?
不能。我们使用类比来解释,ISO文件常用来装系统,但ISO文件不是只能装系统,里面可以放任何文件。同样,docker镜像里也未必带操作系统功能,官网的hello-world镜像就不带。用它来生成的容器,只能输出一段话,没有其它功能,毕竟只是一个1k多东西。下面来介绍我们真正要用的东西。

四、Docker镜像基本操作

Docker的服务器上有很多镜像,分为两类,一类是Docker官方的,另一类是普通用户上传的。Docker把他们放镜像的地方叫做Docker Hub。

1.搜索镜像
下面以centos为例

$ docker search centos

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker第13张
在搜索结果列表中OFFICIAL列中有[OK]的表示是官方的镜像。我们看到第一个就是官方的。

2.下载镜像

$ docker pull centos

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker第14张
默认下载最新版

3.查看镜像

$ docker images

从上图中可以看到刚下载的centos镜像已经在列表中了,大小为193MB。需要注意的是Docker中的镜像都是针对Docker设计的,只能在Docker中使用。比如刚下载的这个centos镜像不能用来装系统哦。Docker中的操作系统镜像比用来装系统的ISO镜像要小的多。

五、Docker容器基本操作

1.创建并运行容器

$ docker run -it -h pseudo-distributed --name pseudo-distributed centos

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker第15张
说明:
docker run    表示创建一个容器并运行。
-it             表示容器运行后直接进入容器内部的命令行。此时就可以像操作虚拟机一样操作这个容器了。
-h             表示容器的主机名hostname,和虚拟机的hostname一样。如果不指定,Docker会用CONTAINER ID来作为hostname。
--name        表示容器的名称。这个前面已经提到了,如果自己不指定,Docker会自动分配一个名称。不过还是自己指定的更有意义。
其中主机名和容器名一不一样都行,我这里是给了一样的,都是pseudo-distributed。
最后一个参数centos是镜像名称,表示该容器用哪个镜像创建。
这个过程类似于用ISO文件装系统。

2.退出当前容器并保持其继续运行

快捷键Ctrl+p+q


3.进入正在运行的容器

$ docker attach  pseudo-distributed


4.退出当前容器并停止其运行

# exit


5.启动已停止运行的容器
$ docker start -i pseudo-distributed

$ docker start -i pseudo-distributed

-i    表示启动后直接进入该容器

6.关闭正在运行的容器

$ docker stop pseudo-distributed

下篇:用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(下)-搭建Hadoop集群

免责声明:文章转载自《用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇spring boot项目使用外部tomcat启动失败总结浪潮AS5500存储配置方案下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Docker 容器内存限制

Docker 内存限制; docker run -d -i -t -m 256M --memory-swap 512M --name centos2.12 centos /bin/bash  查看容器实例 内存限制: 限制容器内存大小;docker run -d -i -t -m 256M --memory-swap 512M --name centos...

(二)Java数组特性总结,你真的了解数组吗?

一、数组的特殊性 (一)数组标识符是一个引用,指向堆中创建的一个真实对象,这个对象(数组)保存了指向保存其他对象的引用。 (二)数组中保存引用类型时保存的是对象引用,基本数据类型数组保存基本数据的值。 (三)数组的length只表示数组能够容纳多少元素,不能保存实际保存的元素个数。 (四)多维数组可以使用Arrays.deepToString()将多维数组...

Centos7 虚拟机挂载未分配的空间

客户给分配了一台虚拟机,系统安装是Centos7系统,空间为80G,df -h命令查看系统后发现只有40G左右的空间可用,剩余空间未分配。下面记录主要过程: 查看当前已分配的空间 df-h Java代码 [root@centosVM2~]#df-h 文件系统容量已用可用已用%挂载点 /dev/mapper/centos-root35G3.8G32...

HANA学习笔记1-搭建HANA学习环境

一 硬件环境     两台电脑,一台为服务器装跑HANA虚拟机,一台为客户端运行HANA_STUDIO     服务器:内存至少需要16G     windows server 2003 64位     客户端:windows 7 64位   二软件环境     服务器:VMware 9.0    HANA虚拟机镜像     客户端:jdk   sapca...

在debian下安装QT 5.10 32位

  准备工作: 在开始之前最好把GCC升级到5.0以上。 如果升级后出现“libstdc++.so.6: version `CXXABI_1.3.9' not found”错误,可以参考https://blog.csdn.net/zx714311728/article/details/69628836解决。 -----------------------...

为什么我的安卓虚拟机没有虚拟键盘

在使用Android模拟器的时候,发现自己创建的AVD启动后没有出现侧边的键盘,在网上搜索后,发现很多人都有这个问题,也有文章说直接使用PC上的键盘,因为有对应的快捷键。但是,没有键盘,始终不爽! Android 虚拟机中与PC键盘对应的按键:http://blog.csdn.NET/chenqiai0/article/details/39779687...