树莓派docker swarm集群部署 portainer 管理实践

portainer

介绍

Swarm 在 Docker 1.12 版本之前属于一个独立的项目，在 Docker 1.12 版本发布之后，该项目合并到了 Docker 中，成为 Docker 的一个子命令。目前，Swarm 是 Docker 社区提供的唯一一个原生支持 Docker 集群管理的工具。它可以把多个 Docker 主机组成的系统转换为单一的虚拟 Docker 主机，使得容器可以组成跨主机的子网网络。

Swarm 是目前 Docker 官方唯一指定（绑定）的集群管理工具。Docker 1.12 内嵌了 swarm mode 集群管理模式。

准备

Docker 安装及配置

实现docker swarm集群需要多台服务器实现集群的，这里我准备了2台服务器，且操作系统都是 raspbian-stretch-lite，IP分别是：

1 2	192.168.2.101 rpi1 192.168.2.102 rpi2

2台服务器上分别执行以下命令，安装docker

配置apt

1	sudo nano /etc/apt/sources.list

将文件里的默认的官方软件源用# 注释掉,添加以下：

1	deb http://mirrors.ustc.edu.cn/raspbian/raspbian/ stretch main contrib non-free rpi

1	sudo nano /etc/apt/sources.list.d/raspi.list

将文件里的默认的官方软件源用# 注释掉,添加以下：

1	deb http://mirrors.ustc.edu.cn/archive.raspberrypi.org/ stretch main ui

添加docker apt源

1
2
3

echo "deb [arch=armhf] https://download.docker.com/linux/debian \
     $(lsb_release -cs) stable" | \
    sudo tee /etc/apt/sources.list.d/docker.list

配置Docker官方APT GPG key

1	curl -fsSL https://download.docker.com/linux/debian/gpg \| sudo apt-key add -

1	sudo apt-key fingerprint 0EBFCD88

输出对比是否是一致的：

pub   4096R/0EBFCD88 2017-02-22
      Key fingerprint = 9DC8 5822 9FC7 DD38 854A  E2D8 8D81 803C 0EBF CD88
uid                  Docker Release (CE deb) <docker@docker.com>
sub   4096R/F273FCD8 2017-02-22

更新apt

1	apt update

安装docker

1	sudo apt-get install docker-ce

docker配置国内镜像

在 /etc/docker/daemon.json 中写入如下内容（如果文件不存在请新建该文件）

{
  "registry-mirrors": [
    "https://registry.docker-cn.com"
  ]
}

docker 命令

systemctl start docker // 启动docker服务
systemctl stop docker // 停止docker服务
systemctl restart docker // 重启docker服务
systemctl status docker // 查看docker服务状态
systemctl enable docker // 开机启动docker服务
systemctl disable docker // 取消开机启动docker服务

swarm 配置

docker 已内置swarm，无需再手动pull安装

我们有2个服务器作为集群的2个节点，其中，ser1, manager节点，ser2 作为worker节点

初始化集群

语法:

docker swarm init [OPTIONS]

Options:

--advertise-addr: 多网卡的情况下，指定需要使用的ip

--listen-addr: 指定监听的 ip 与端口

--availability: 节点的有效性("active"|"pause"|"drain")
Active：集群中该Node可以被指派Task

Pause：集群中该Node不可以被指派新的Task，但是其他已经存在的Task保持运行

Drain：集群中该Node不可以被指派新的Task，Swarm Scheduler停掉已经存在的Task，并将它们调度到可用的Node上

示例

docker swarm init --advertise-addr 192.168.2.101 --listen-addr 192.168.2.101:2377

添加节点

docker swarm join [OPTIONS] HOST:PORT

Options


--token: 所需加入集群的token

--advertise-addr: 多网卡的情况下，指定需要使用的ip

--listen-addr: 指定监听的 ip 与端口

--availability: 节点的有效性("active"|"pause"|"drain")

Active：集群中该Node可以被指派Task

Pause：集群中该Node不可以被指派新的Task，但是其他已经存在的Task保持运行

Drain：集群中该Node不可以被指派新的Task，Swarm Scheduler停掉已经存在的Task，并将它们调度到可用的Node上

添加manager节点

ser1已经是管理节点，这里介绍如何添加另一个管理节点。swarm支持多个管理节点，但是只会有一个leader。

首先要获取manager的token，在ser1上执行以下命令：

docker swarm join-token manager

获取到manager token，然后执行以下命令，将ser2服务器作为manager节点加入集群

docker swarm join \
--advertise-addr 192.168.2.102 \
--listen-addr 192.168.2.101:2377 \
--token SWMTKN-1-29ynh5uyfiiospy4fsm4pd4xucyji2rn0oj4b4ak4s7a37syf9-ajkrv2ctjr5cmxzuij75tbrmz \
192.168.2.101:2377

worker节点

首先要获取worker的token，在ser1上执行以下命令：

docker swarm join-token worker

获取到worker token，然后执行以下命令，将ser2服务器作为worker节点加入集群:

docker swarm join \
--advertise-addr 192.168.2.102 \
--listen-addr 192.168.2.101:2377 \
--token SWMTKN-1-29ynh5uyfiiospy4fsm4pd4xucyji2rn0oj4b4ak4s7a37syf9-a53g5oimn8zeaqomm5vxgcoj7 \
192.168.2.101:2377

查看节点

以下命令只能在manager节点上执行

查出集群的节点列表

语法

docker node ls [OPTIONS]

Options

–filter , -f : 根据条件筛选查询结果

示例

docker node ls

修改节点

以下命令只能在manager节点上执行

节点降级

将manager节点降为worker

语法

docker node demote NODE [NODE...]

示例

docker node demote rpi2

节点升级

将worker节点提升为manager

语法

docker node promote NODE [NODE...]

示例

docker node promote rpi

修改节点参数

语法

docker node update [OPTIONS] NODE

Options

--availability : 节点的有效性("active"|"pause"|"drain")

Active：集群中该Node可以被指派Task

Pause：集群中该Node不可以被指派新的Task，但是其他已经存在的Task保持运行

Drain：集群中该Node不可以被指派新的Task，Swarm Scheduler停掉已经存在的Task，并将它们调度到可用的Node上

--role : 节点角色（“worker”|“manager”）

示例

docker node update --availability Active rpi2

退出节点

docker node rm

从集群中移除一个或多个节点（manager 节点执行）

语法

docker node rm [OPTIONS] NODE [NODE...]

Options

--force , -f : 强制从集群中删除节点

示例

docker node rm -f rpi2

docker swarm leave

退出集群（需要退出的节点执行）

语法

docker swarm leave [OPTIONS]

Options

--force , -f : 强制从集群中删除节点

示例

docker swarm leave

应用部署

创建服务

语法

docker service create [OPTIONS] IMAGE [COMMAND] [ARG...]

Options

--detach , -d : 指定容器运行于前台还是后台，默认为false
--name : 服务名称
--network : 网络连接
--publish , -p : 端口映射
--env , -e : 设置环境变量
--tty , -t : 分配tty设备，该可以支持终端登录
--mount : 文件挂载
--replicas : 指定任务数量

示例

创建一个docker网络

1	docker network create --driver overlay swarm_test

创建一个2个副本的redis service

docker service create --replicas 2 --name redis -p 6379:6379 --network=swarm_test arm32v7/redis

注意：rpi是arm架构的，只能使用arm docker镜像，现在docker官方已经有了arm镜像

arm32v7

arm32v6

修改服务

修改服务参数

语法

docker service update [OPTIONS] SERVICE

Options

--detach , -d : 指定容器运行于前台还是后台
--env-add : 增加环境变量
--env-rm : 删除环境变量
--mount-add : 增加文件挂载
--mount-rm : 通过目标路径删除文件挂载
--network-add : 增加网络设置
--network-rm : 移除网络设置
--publish-add : 增加端口映射
--publish-rm : 通过目标端口移除端口映射
--replicas : 修改任务数量

示例

docker service update --replicas 2 api_131

修改任务数量

虽然通过docker service update命令也可以修改任务数量，但是docker还提供了一个修改任务数量的命令。

该命令可以修改一个或多个服务的任务数量

语法

docker service scale SERVICE=REPLICAS [SERVICE=REPLICAS...]

示例

docker service scale ser1=3 ser2=5

查看服务

查看服务列表

manager节点执行

语法

docker service ls [OPTIONS]

Options

--filter , -f : 过滤条件

示例

docker service ls --filter name=redis

查看任务列表

manager执行，可查看一个或多个服务的任务列表

语法

docker service ps [OPTIONS] SERVICE [SERVICE...]

Options

--filter , -f : 过滤条件

示例

docker service ps redis

查看服务详情

manager执行，可查看一个或多个服务的详细情况

语法

docker service inspect [OPTIONS] SERVICE [SERVICE...]

Options

--pretty : 格式化输出信息

示例

docker service inspect redis

删除服务

manager 执行，删除一个或多个服务

语法

docker service rm SERVICE [SERVICE...]

示例

docker service rm redis

查看服务日志

manager执行，查看服务或任务的日志

语法

docker service logs [OPTIONS] SERVICE|TASK

Options

--follow , -f : 跟随输出
--tail : 显示最新的N条日志
--since : 显示从某个时间开始的所有日志
--timestamps , -t : 显示时间戳

示例

docker service logs -f redis

使用portainer管理docker swarm集群

Portainer是个轻量级的Docker管理面板，和Rancher这种重量级选手没法比，Portainer倾向于单机的管理(后来发现能够添加多个单机节点切换着管理)，当然，在Docker搞出Swarm之后Portainer也借此实现了集群管理。

1	docker run -d -p 9000:9000 --name portainer --restart always -v /var/run/docker.sock:/var/run/docker.sock -v portainer_data:/data portainer/portainer:linux-arm-1.17.0

本文使用的portainer镜像为portainer/portainer:linux-arm-1.17.0

参考

Docker Swarm集群部署实践