Docker 1.9 Overlay Network实现跨主机网络互通


11月4日,Docker发布了1.9版本,实现了原本实验性的Networking组件的支持。用户可以在Swarm中使用它或者将其作为Compose工具。创建虚拟网络并将其连接到容器上,可实现多个主机上容器相互通信,并且实现不同的应用程序或者应用程序不同部分能够相互隔离。互联子系统设计为可插拔式,兼容VXLAN或者IPVLAN等技术。

Docker 容器实现跨主机通讯主要通过几种方式:自带overlay network插件,第三方插件如weave、ovs等,docker swarm(虽然也是通过key value service进行调用)。在这里主要介绍直接使用自带插件,以及通过docker swarm的两种实现方式。

直接使用自带插件实现容器跨主机访问

测试环境为ubuntu14.04。根据docker建议要求,将内核升级到3.19.如果内核版本过低,将会出现overlay network创建失败或加入失败等一系列问题。

内核升级
#apt-get install linux-generic-lts-vivid

升级完成,重启主机。
# uname -a
Linux ukub09 3.19.0-33-generic #38~14.04.1-Ubuntu SMP Fri Nov 6 18:17:28 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux

启动key value service

可以选择使用zookeeper、etcd、consul等多种组件。本例使用额外一台虚拟机,启用和官方文档相一致的consul镜像。
docker $(docker-machine config consul2) run -d \
-p "8501:8500" \
-h "consul" \
progrium/consul -server -bootstrap

此时可以通过ip:8501对consul服务进行访问。

将key value service信息加入docker daemon

修改希望加入docker overlay network的所有主机上docker daemon服务。
#vi /etc/dafault/docker
DOCKER_OPTS='
-H tcp://0.0.0.0:2376
-H unix:///var/run/docker.sock
--cluster-store=consul://172.25.2.43:8501
--cluster-advertise=eth0:2376

'

通过修改以下两个参数实现
--cluster-store= 参数指向docker daemon所使用key value service的地址
--cluster-advertise= 参数决定了所使用网卡以及docker daemon端口信息

重启docker服务。
#service docker restart

docker 网络的创建与操作

此时可以通过docker network create创建-d overlay属性的驱动。
#docker network create -d overlay over

列出当前网络
root@ukub10:~# docker network ls
NETWORK ID          NAME                DRIVER
b95efb2ab985        over                overlay             
0a4a123fc278        bridge              bridge              
2da9ecadf108        none                null                
5ca3275ec2a9        host                host        

在另一台已加入key value service指向的主机上同样可以看到这个网络
root@ukub09:~# docker network ls
NETWORK ID          NAME                DRIVER
b95efb2ab985        over                overlay             
b5f9713c9f2b        bridge              bridge              
16e1cdf30f97        none                null                
cf257529463c        host                host

docker网络的连接方式

可以在两台主机上分别创建容器,互相进行ping或ssh访问。官方文档例子创建一个nginx容器,并在另一个容器内抓取其状态进行验证。这里不再详述。

创建容器接入指定网络
#docker run -itd --name=testcontainer --net=over  nginx

将容器从指定网络中退出
#docker network disconnect over testcontainer 

重新连入指定网络
#docker network connect over testcontainer

连接与断开将会是实时的。在连接之后,即可通过容器名访问本网络中所有容器。

使用Swarm创建docker cluster实现跨主机管理和网络访问

根据官方文档,需要搭建起基于Swarm的cluster,来实现Docker overlay network。为部署整套Docker cluster,需要安装docker machine/compose/swarm等组件。
使用第三方网络插件实现跨主机容器通讯也变得更容易了。

安装docker machine

docker machine用来进行docker的推送安装,可以在许多driver上安装部署docker:
- amazonec2  azure   digitalocean    exoscale    generic     google  none
openstack   rackspace   softlayer   virtualbox  vmwarevcloudair
vmwarevsphere

首先需要安装好docker engine,之后下载并将docker machine的库文件移动到bin下。
#curl -L https://github.com/docker/machine/releases/download/v0.5.0/docker-machine_linux-amd64.zip >machine.zip && \
unzip machine.zip && \
rm machine.zip && \
mv docker-machine* /usr/local/bin

验证安装
# docker-machine -v
docker-machine version 0.5.0 (04cfa58)
# docker-machine ls
NAME   ACTIVE   DRIVER   STATE   URL   SWARM

官方文档的使用virtualbox进行各种角色主机的启用。本篇文档则在已有的虚拟机环境中进行。

使用docker-machine进行推送安装
首先需要拥有一台linux系统,并使docker-machine主机可以无密码访问到这台系统。
#ssh-copy-id -i /root/.ssh/id_rsa.pub root@172.25.2.43

之后即可通过docker-machine进行安装。

安装通过internet下载相关包,并通过docker-machine进行设置安装的。必须保证网络畅通,否则可能安装失败。
#docker-machine create -d generic --generic-ip-address=172.25.2.43 --generic-ssh-user=root test5


安装后,可以查看所有被docker-machine安装控制后的主机状态
# docker-machine ls
NAME        ACTIVE   DRIVER    STATE     URL                      SWARM
c0-master   -        generic   Running   tcp://172.25.2.44:2376   c0-master (master)
c0-n1       -        generic   Running   tcp://172.25.2.45:2376   c0-master
c0-n2       -        generic   Running   tcp://172.25.2.46:2376   c0-master
dm01        -        generic   Running   tcp://172.25.2.43:2376   
local       -        generic   Running   tcp://172.25.2.34:2376

可以查看相应主机的环境变量
#docker-machine env local 

把当前操作环境变更为指定主机
#eval "$(docker-machine env local)"

在docker-machine主机上操纵host
#docker $(docker-machine config local) run -tid ubuntu /bin/bash

通过ssh连接到相应主机
# docker-machine ssh dm01

Docker Compose安装

docker compose用于同时启动多个容器,构成同一组应用环境,在这里用于支持swarm的安装。
#curl -L https://github.com/docker/compose/releases/download/1.5.1/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose

Docker Swarm集群安装

启用一台主机安装key value service,用于节点、主机发现等工作。
本例使用了consul的镜像,也可以使用如etcd、zookeeper等组件。

在dm01上启动一个consul服务:
docker $(docker-machine config dm01) run -d \
-p "8500:8500" \
-h "consul" \
progrium/consul -server -bootstrap

创建swarm集群可以通过key value服务,也可以使用swarm cluster ID字符串创建。

创建swarm manager
docker-machine create \
-d generic --generic-ip-address=172.25.2.44 --generic-ssh-user=root\
--swarm \
--swarm-master \
--swarm-discovery="consul://$(docker-machine ip dm01):8500" \
--engine-opt="cluster-store=consul://$(docker-machine ip dm01):8500" \
--engine-opt="cluster-advertise=eth0:2376" \
c0-master

创建swarm node
docker-machine create \
-d generic --generic-ip-address=172.25.2.45 --generic-ssh-user=root \
--swarm \
--swarm-discovery="consul://$(docker-machine ip dm01):8500" \
--engine-opt="cluster-store=consul://$(docker-machine ip dm01):8500" \
--engine-opt="cluster-advertise=eth0:2376" \
c0-n1

docker-machine create \
-d generic --generic-ip-address=172.25.2.46 --generic-ssh-user=root \
--swarm \
--swarm-discovery="consul://$(docker-machine ip dm01):8500" \
--engine-opt="cluster-store=consul://$(docker-machine ip dm01):8500" \
--engine-opt="cluster-advertise=eth0:2376" \
c0-n2

Overlay Network创建

设置环境变量
#eval "$(docker-machine env --swarm c0-master)"


可以用docker info看到现在的集群状况
#docker network create -d overlay myStack1

root@local:~# docker network ls
NETWORK ID          NAME                DRIVER
685ed9e9f701        myStack1            overlay             
4c88e7c52a7c        c0-n1/bridge        bridge              
7fd49a4f6a64        c0-n1/none          null                
8b2372139902        c0-n2/host          host                
d998a91dcfea        c0-n2/bridge        bridge              
afd7a1190fb4        c0-n2/none          null                
0f2b5dae67f7        c0-n1/host          host                
a45b8049f8e6        c0-master/bridge    bridge              
d13eed83f250        c0-master/none      null                
364a592ae9ae        c0-master/host      host  

测试
在c0-n1上启动一个nginx,并加入myStack1网络
#docker run -itd --name=web --net=myStack1 --env="constraint:node==c0-n1" nginx

在c0-n2上启动一个shell,同样加入myStack1网络
#docker run -ti --name=webtest --net=myStack1 --env="constraint:node==c0-n2" ubuntu /bin/bash

在shell中将可以通过容器名或IP获取到Web容器的状态
#apt-get install wget
#wget -O- http://web

Docker在官方文档上主推以Swarm的方式创建Cluster,相对比较复杂,但提供了整体Cluster的解决方案,可以将容器进行整体管理、推送、使用。

3 个评论

必须顶!
docker-machine create \
-d generic --generic-ip-address=172.25.2.44 --generic-ssh-user=root\
--swarm \
--swarm-master \
--swarm-discovery="consul://$(docker-machine ip dm01):8500" \
--engine-opt="cluster-store=consul://$(docker-machine ip dm01):8500" \
--engine-opt="cluster-advertise=eth0:2376" \
c0-master
执行这个命令,加上-D打印的信息如下,

Getting to WaitForSSH function...
(c0-master) Calling .GetSSHHostname
(c0-master) Calling .GetSSHPort
(c0-master) Calling .GetSSHKeyPath
(c0-master) Calling .GetSSHUsername
Using SSH client type: external
{[-o BatchMode=yes -o PasswordAuthentication=no -o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null -o LogLevel=quiet -o ConnectionAttempts=3 -o ConnectTimeout=10 -o ControlMaster=no -o ControlPath=none root--swarm@192.168.225.129 -p 22] /usr/bin/ssh}
About to run SSH command:
exit 0
SSH cmd err, output: exit status 255:
Error getting ssh command 'exit 0' : Something went wrong running an SSH command!
command : exit 0
err : exit status 255
output :

ssh有什么问题吗?
邓~~~

邓~~~ 回复 邓~~~

不好意思,我写错了,少了一个空格导致的。

要回复文章请先登录注册