前 言
前面的文章,我们都是围绕在k3s本身或是其关键的应用场景边缘计算中,阐述着相关内容。除了我们常提起的边缘计算领域,k3s还可以在研发侧提供便捷的k8s基础设施,在这个领域k3s的社区玩家们创造了一个小工具,它对于我们搭建本地k3s环境提供了非常大的便利,这个工具就是k3d。
Github链接:https://github.com/rancher/k3d
k3d使用
k3d的下载是非常方便的,可以访问Github Repo对应的release页面,选择对应架构的binary,也可以通过包管理工具或者手动编译来获取binary。k3d的原理就是在容器里面运行k3s,这样我们就可以像管理容器一样很方便的管理k3s。比如我们使用的版本是v1.3.4(本文撰时是latest版本),以下命令帮助我们快速创建一个k3s集群:
$ ./k3d create -n xxx-c1
INFO[0000] Created cluster network with ID d946268b2c5bed21adce83c58031391cb80d52a5291581ed2b17c5f19a8b4d1f
INFO[0000] Created docker volume k3d-xxx-c1-images
INFO[0000] Creating cluster [xxx-c1]
INFO[0000] Creating server using docker.io/rancher/k3s:v0.9.1...
INFO[0001] SUCCESS: created cluster [xxx-c1]
INFO[0001] You can now use the cluster with:
export KUBECONFIG="$(./k3d get-kubeconfig --name='xxx-c1')"
kubectl cluster-info
根据返回信息提示,我们可以使用kubectl来操作本地的k3s集群:
$ export KUBECONFIG="$(./k3d get-kubeconfig --name='xxx-c1')"
$ kubectl get ns
NAME STATUS AGE
default Active 3m13s
kube-system Active 3m13s
kube-public Active 3m13s
kube-node-lease Active 3m13s
$ kubectl get no
NAME STATUS ROLES AGE VERSION
k3d-xxx-c1-server Ready master 3m15s v1.15.4-k3s.1
这里有一处细节,就是k3d创建k3s集群的默认版本遵循什么规则?每个k3d版本在发布构建时,都会以发布k3s的latest版本作为默认版本,也就是说k3d v1.3.4发布时,k3s的latest刚好是v0.9.1。如果我们想运行指定版本的k3s,可以执行如下命令(使用-i指定k3s image):
$ ./k3d create -n k3s-v100 -i rancher/k3s:v1.0.0
$ kubectl get no
NAME STATUS ROLES AGE VERSION
k3d-k3s-v100-server Ready master 24s v1.16.3-k3s.2
在airgap环境使用时,尤其是网络受限无法下载某些镜像时,可以把k3s对应版本的airgap镜像下载下来,通过k3d导入到对应的k3s集群中,操作方式如下:
$ ./k3d create -n xxx-c4 -i rancher/k3s:v1.0.0 -v
$(pwd)/airgap/v1.0.0/:/var/lib/rancher/k3s/agent/images
通过映射目录可以把airgap images传给k3s集群,k3s在启动时会自动加载该镜像文件。如果想针对某个k3s集群手动导入镜像,可以进入k3d创建的容器中,使用ctr命令导入:
$ ctr images import xxxx.tar
$ ctr images ls # check the results
默认情况下,通过k3d创建k3s集群,其实就是创建一个docker容器。如果我们想模拟多节点的k3s集群,可以直接通过k3d的worker参数控制,比如:
$ ./k3d create -n xxx-c5 -i rancher/k3s:v1.0.0 -v $(pwd)/airgap/v1.0.0/:/var/lib/rancher/k3s/agent/images --workers 2
$ kubectl get no
NAME STATUS ROLES AGE VERSION
k3d-xxx-c5-worker-1 Ready <none> 10s v1.16.3-k3s.2
k3d-xxx-c5-worker-0 Ready <none> 8s v1.16.3-k3s.2
k3d-xxx-c5-server Ready master 7s v1.16.3-k3s.2
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
08b7a0211be7 rancher/k3s:v1.0.0 "/bin/k3s agent" 2 minutes ago Up 2 minutes k3d-xxx-c5-worker-1
85b4a46cf828 rancher/k3s:v1.0.0 "/bin/k3s agent" 3 minutes ago Up 2 minutes k3d-xxx-c5-worker-0
acca7be5a452 rancher/k3s:v1.0.0 "/bin/k3s server --h…" 3 minutes ago Up 2 minutes 0.0.0.0:6443->6443/tcp k3d-xxx-c5-server
执行过程中需要注意,由于是多个节点组建k3s集群,所以需要稍等片刻。执行成功后,我们会看到三个docker容器,2个纯粹的worker node和1个master+worker node。
由于k3d通过容器方式创建k3s集群,这就带来另外一个好处,就是我们可以在一个机器上部署多个k3s集群,且是不同版本的k3s,比如:
$ ./k3d create -n xxx-c1 -i rancher/k3s:v0.9.1
$ ./k3d create -n xxx-c2 --api-port 6888 -i rancher/k3s:v0.10.2
$ ./k3d ls
+--------+-------------------------------+---------+---------+
| NAME | IMAGE | STATUS | WORKERS |
+--------+-------------------------------+---------+---------+
| xxx-c2 | docker.io/rancher/k3s:v0.10.2 | running | 0/0 |
| xxx-c1 | docker.io/rancher/k3s:v0.9.1 | running | 0/0 |
+--------+-------------------------------+---------+---------+
这里需要注意,每个集群api-server暴露的端口需要做区分,否则会报端口重复占用错误。
既然我们可以在本地创建k3s,那么我们其实完全可以把这个k3s导入到本地的Rancher2中,这样就相当于给本地的k3s添加了一个UI控制界面。这个执行方式比较简单,只要通过docker exec进入容器中,执行import相关命令正常导入即可。不过需要注意的是,k3s v1.0.0版本需要Rancher2.3+版本才能兼容。其原因是,k3s做了API精简,Rancher2.2使用的导入命令中刚好引入了k3s v1.0.0无法兼容的resource version,如果你是一个高玩,可以手动修改resource version,否则请使用Rancher2.3。
因为k3d把k3s放在了容器中,所以当我们要暴露一些service时(比如ingress/nodeport等),需要通过k3d预先设定好端口映射。另外,我们在本地搭建k3s环境,也会希望对应的k3s能够使用本地的insecure registry。关于这部分,k3d目前也有一些文档描述:https://github.com/rancher/k3... ,此部分文档还是比较清晰易懂,无需本文赘述。
后 记
k3s在研发侧支持方面,除了本文介绍的k3d之外,Rancher还在计划开发k3v,k3v可以在完整的k8s集群中虚拟出多个k3s集群,这会更方便IT基础设施团队为研发团队提供隔离的k8s能力。在云原生不断发展成熟的浪潮下,研发团队的交付物也在不断革新,从War包或者binnary到容器镜像再到helm chart方式,未来研发侧对灵活可变的k8s能力需求会特别大,为每个研发人员提供灵活且资源隔离的k8s设施,是容器基础设施未来发展的大趋势。对k8s管理平台而言,其能力边界也要从多物理集群管理延伸到多虚拟集群管理。