支持原生开发环境执行机集群部署指导
文档说明
本文档介绍在 openEuler 操作系统上，通过 kubeadm 部署 K8S 集群，搭建 K8S+iSulad 的环境，并在该环境上部署 gitlab-runner，通过执行流水线用例任务来进行验证测试的步骤。 本文档主要包括以下两部分的内容：
- K8s+iSulad 环境部署。
- gitlab runner 部署和测试。
说明：本文档所有操作均使用root权限执行。
K8s+iSulad环境部署
准备集群服务器
需准备至少3台openEuler机器，建议在openEuler-20.03及以上版本运行。下表为示例搭建机器信息。
| 主机名 | IP | 系统版本 | 角色 | 组件 |
|---|---|---|---|---|
| lab1 | 197.xxx.xxx.xxx | openEuler 20.03 LTS SP3 | 控制节点 | iSulad/k8s |
| lab2 | 197.xxx.xxx.xxx | openEuler 20.03 LTS SP3 | 工作节点1 | iSulad/k8s |
| lab3 | 197.xxx.xxx.xxx | openEuler 20.03 LTS SP3 | 工作节点2 | iSulad/k8s |
镜像/软件信息
安装过程中需要用到的软件及镜像名称如下表，版本号为示例安装时用到的版本，仅供参考。如果在无公网环境中搭建，需提前下载对应的软件包、相关依赖软件包及镜像。
- 软件包下载地址：https://repo.openeuler.org/openEuler-22.03-LTS-SP1/
- 镜像下载地址：dockerhub官网 https://hub.docker.com
| 镜像/软件 | 版本 |
|---|---|
| iSulad | 2.0.17-2 |
| kubernetes-client | 1.20.2-9 |
| kubernetes-kubeadm | 1.20.2-9 |
| kubernetes-kubelet | 1.20.2-9 |
| k8s.gcr.io/kube-proxy | v1.20.2 |
| k8s.gcr.io/kube-apiserver | v1.20.2 |
| k8s.gcr.io/kube-controller-manager | v1.20.2 |
| k8s.gcr.io/kube-scheduler | v1.20.2 |
| k8s.gcr.io/etcd | 3.4.13-0 |
| k8s.gcr.io/coredns | 1.7.0 |
| k8s.gcr.io/pause | 3.2 |
| calico/node | v3.14.2 |
| calico/pod2daemon-flexvol | v3.14.2 |
| calico/cni | v3.14.2 |
| calico/kube-controllers | v3.14.2 |
| gitlab/gitlab-runner | alpine-v14.4.0 |
| gitlab/gitlab-runner-helper | x86_64-54944146 |
修改host文件
修改主机名，以其中一台机器为例。
# hostnamectl set-hostname lab1 # sudo -i配置主机名解析，编辑三台服务器的/etc/hosts文件。
# vim /etc/hosts在hosts文件中添加以下内容（IP+主机名）
197.xxx.xxx.xxx lab1 197.xxx.xxx.xxx lab2 197.xxx.xxx.xxx lab3
环境准备
关闭防火墙。
# systemctl stop firewalld # systemctl disable firewalld禁用selinux。
# setenforce 0关闭系统swap。
# swapoff -a # sed -ri 's/.*swap.*/#&/' /etc/fstab网络配置，开启相应的转发机制。
# cat > /etc/sysctl.d/kubernetes.conf <<EOF net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward = 1 net.bridge.bridge-nf-call-ip6tables = 1 vm.swappiness=0 EOF生效规则。
# modprobe overlay # modprobe br_netfilter # sysctl -p /etc/sysctl.d/kubernetes.conf配置开机启动脚本。
# vim /etc/init.d/k8s.sh在k8s.sh脚本中添加以下内容。
#!/bin/sh modprobe br_netfilter sysctl -w net.bridge.bridge-nf-call-ip6tables = 1 sysctl -w net.bridge.bridge-nf-call-iptables = 1改变脚本权限。
# chmod +x /etc/init.d/k8s.sh
添加配置文件。
# vim br_netfilte.service [Unit] Description=To enable the core module br_netfilter when reboot After=default.target [Service] ExecStart=/etc/init.d/k8s.sh //可以自定义 [Install] WantedBy=default.target添加完成后启动服务。
# systemctl daemon-reload # systemctl enable br_netfilter.service
配置sysctl。
# sed -i "s/net.ipv4.ip_forward=0/net.ipv4.ip_forward=1/g" /etc/sysctl.conf # sed -i 12a\vm.swappiness=0 /etc/sysctl.conf
安装kubeadm、kubectl、kubelet组件及iSulad
- 使用yum install安装软件包。
# yum install -y kubernetes-kubeadm
# yum install -y kubernetes-client
# yum install -y kubernetes-kubelet
# yum install -y iSulad
- 设置kubelet开机启动。
# systemctl enable kubelet
修改isulad配置
- 进入/etc/isulad，修改daemon.json文件。
# vi /etc/isulad/daemon.json
- 修改并添加配置文件中的内容。
{
"group": "isula",
"default-runtime": "lcr",
"graph": "/var/lib/isulad",
"state": "/var/run/isulad",
"engine": "lcr",
"log-level": "ERROR",
"pidfile": "/var/run/isulad.pid",
"log-opts": {
"log-file-mode": "0600",
"log-path": "/var/lib/isulad",
"max-file": "1",
"max-size": "30KB"
},
"log-driver": "stdout",
"container-log": {
"driver": "json-file"
},
"hook-spec": "/etc/default/isulad/hooks/default.json",
"start-timeout": "2m",
"storage-driver": "overlay2",
"storage-opts": [
"overlay2.override_kernel_check=true"
],
"registry-mirrors": [
"docker.io"
],
"insecure-registries": [
"k8s.gcr.io",
"quay.io",
"oci.inhuawei.com",
"rnd-dockerhub.huawei.com",
"registry.aliyuncs.com",
"【本地私有镜像仓IP】"
],
"pod-sandbox-image": "k8s.gcr.io/pause:3.2",
"native.umask": "normal",
"network-plugin": "cni",
"cni-bin-dir": "/opt/cni/bin",
"cni-conf-dir": "/etc/cni/net.d",
"image-layer-check": false,
"use-decrypted-key": true,
"insecure-skip-verify-enforce": false,
"cri-runtimes": {
"kata": "io.containerd.kata.v2"
}
}
- 重启isulad服务。
# systemctl restart isulad
加载isulad镜像
查看需要的系统镜像。
# kubeadm config images list
注意对应的版本号，输出结果如图所示。
使用isula拉取所需镜像。
说明 ： 以下所下载的镜像版本均为示例，具体版本号以上条命令返回结果为准，下同。
# isula pull k8simage/kube-apiserver:v1.20.15 # isula pull k8smx/kube-controller-manager:v1.20.15 # isula pull k8smx/kube-scheduler:v1.20.15 # isula pull k8smx/kube-proxy:v1.20.15 # isula pull k8smx/pause:3.2 # isula pull k8smx/coredns:1.7.0 # isula pull k8smx/etcd:3.4.13-0修改已下载的镜像标签。
# isula tag k8simage/kube-apiserver:v1.20.15 k8s.gcr.io/kube-apiserver:v1.20.15 # isula tag k8smx/kube-controller-manager:v1.20.15 k8s.gcr.io/kube-controller-manager:v1.20.15 # isula tag k8smx/kube-scheduler:v1.20.15 k8s.gcr.io/kube-scheduler:v1.20.15 # isula tag k8smx/kube-proxy:v1.20.15 k8s.gcr.io/kube-proxy:v1.20.15 # isula tag k8smx/pause:3.2 k8s.gcr.io/pause:3.2 # isula tag k8smx/coredns:1.7.0 k8s.gcr.io/coredns:1.7.0 # isula tag k8smx/etcd:3.4.13-0 k8s.gcr.io/etcd:3.4.13-0删除旧镜像。
# isula rmi k8simage/kube-apiserver:v1.20.15 # isula rmi k8smx/kube-controller-manager:v1.20.15 # isula rmi k8smx/kube-scheduler:v1.20.15 # isula rmi k8smx/kube-proxy:v1.20.15 # isula rmi k8smx/pause:3.2 # isula rmi k8smx/coredns:1.7.0 # isula rmi k8smx/etcd:3.4.13-0查看已拉取的镜像。
# isula images
安装crictl工具
# yum install -y cri-tools
初始化master节点
执行如下命令初始化master节点：
# kubeadm init --kubernetes-version v1.20.2 --cri-socket=/var/run/isulad.sock --pod-network-cidr=[指定pod分配IP段]
//以上参数的解释
kubernetes-version 为当前安装的版本
cri-socket 指定引擎为isulad
pod-network-cidr 指定pod分配的ip段
根据系统提示输入如下命令：
# mkdir -p $HOME/.kube
# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
# sudo chown $(id -u):$(id -g) $HOME/.kube/config
初始化成功后，复制最后两行内容，在node节点上执行刚刚复制的命令，将节点加入master集群，如未记录上述命令可通过如下命令生成：
# kubeadm token create --print-join-command
node节点添加进集群
粘贴master上初始化生成的kubeadm join ...命令，并在discovery前添加--cri-socket=/var/run/isulad.sock，执行如下命令：
# kubeadm join [IP地址] --token bgyis4.euwkjqb7jwuenwvs --cri-socket=/var/run/isulad.sock --discovery-token-ca-cert-hash sha256:3792f02e136042e2091b245ac71c1b9cdcb97990311f9300e91e1c339e1dfcf6
安装calico网络插件
拉取calico镜像。
需要在master节点配置calico网络插件，同时需要在每个节点中提前拉取需要版本的镜像。
isula pull calico/node:v3.14.2 isula pull calico/cni:v3.14.2 isula pull calico/kube-controllers:v3.14.2 isula pull calico/pod2daemon-flexvol:v3.14.2在master节点上获取配置文件。
wget https://docs.projectcalico.org/v3.14/manifests/calico.yaml修改calico.yaml文件。
# vim calico.yaml //修改以下两个参数 - name: IP_AUTODERECTION_METHOD Value: ”can-reach=197.3.10.254” - name: CALICO_IPV4POOL_IPIP Value: ”CrossSubnet”
若POD默认CNI为flannel，在flannel.yaml中添加以下内容，详见下图：
--iface=enp4s0
修改后创建pod。
# kubectl apply -f calico.yaml如需删除使用如下命令：
# kubectl delete -f calico.yaml
查看pod信息。
# kubectl get pod -A -o wide
查看master节点node信息
使用如下命令可查看节点的详细信息：
# kubectl get nodes -o wide
若需要重置node节点，可使用如下命令：
# kubeadm reset
gitlab runner部署及测试
gitlab部署
将需要的yaml文件拷贝至/home目录，并启动对应的pod。
说明：gitlab相关的yaml文件可从官网获得，请选择需要的对应版本下载。
# kubectl apply -f gitlab-redis.yaml
# kubectl apply -f gitlab-postgresql.yaml
# kubectl apply -f gitlab.yaml
可通过命令查看gitlab pod是否搭建完成。
# kubectl get pod -A -owide
查看是否可以登录gitlab网页，网址为ip地址加设定的端口。
用户名为root，默认密码需进入容器后查看密码文件。
# kubectl exec -it gitlab-lab -n default /bin/sh
# cat /etc/gitlab/initial_root_password
- 登录后界面如图：
使用gitlab-runner.yaml启动runner容器
修改gitlab-runner.yaml文件，修改文件中的镜像名。
# vim gitlab-runner.yaml
# kubectl apply -f gitlab-runner.yaml
# kubectl get pod -A -o wide
登录gitlab容器网页-用户证书认证
新建项目。
创建空白项目。
自定义项目名称。
设置--CI/CD--Runner--展开。
记录注册Runner的地址和令牌。
导入证书文件。
在master节点上查看并生成证书文件，共三个文件admin.crt、admin.key、ca.crt。
查看证书信息
# cat /etc/kubernetes/admin.conf
加密生成admin.crt
# echo “${client-certificate-data}” | base64 -d > admin.crt加密生成admin.key
# echo “${client-key-data}” | base64 -d > admin.key在manager节点上获取ca的证书
# cp /etc/kubernetes/pki/ca.crt ./
在runner运行的节点处将三个证书文件导入gitlab-runner容器。
说明 ：导入容器需查看gitlab-runner运行在哪个节点上，将三个证书文件拷贝至该节点，然后使用isula cp命令导入。
# isula cp admin.crt [容器id]:存放位置 # isula cp admin.key [容器id]:存放位置 # isula cp ca.crt [容器id]:存放位置注：isula cp 命令只能一次拷贝一个文件
注册gitlab-runner
进入到runner的容器内进行注册；目前采用交互式注册，注册信息在gitlab上获得，当前配置的 runner服务于项目组，此信息的界面在gitlab->项目组（group）->设置->CI/CD->runner中查看。
将准备好的gitlab-runner-helper镜像提前上传至私有镜像仓，进入gitlab-runner容器中，修改配置文件。
# cd /etc/gitlab-runner
# mkdir kubessl
# cp /home/admin.crt /etc/gitlab-runner/kubessl
# cp /home/ca.crt /etc/gitlab-runner/kubessl
# cp /home/admin.key /etc/gitlab-runner/kubessl
# vim /etc/gitlab-runner/config.toml
在manager节点进行如下操作添加gitlab容器的dns记录
查看gitlab容器的ip地址
# kubectl get pods –Aowide添加gitlabip地址到k8s dns配置文件
# kubectl edit configmaps coredns -n kube-system
重启coredns服务
# kubectl scale deployment coredns -n kube-system --replicas=0 # kubectl scale deployment coredns -n kube-system --replicas=2
gitlab运行测试
返回gitlab的web界面，选择CI/CD--编辑器--创建新的CI/CD流水线。
- 编译yaml文件如下：
- 流水线-查看状态。
