初始化主节点

概述

本章节主要介绍了 Kubernetes 集群主节点的初始化工作。Kubernetes 集群主节点在初始化时，有以下两种模式可以选：

普通模式：主节点只有一个，API Server 的入口地址就是这个节点的地址。
高可用模式：主节点有多个，并提供一个主节点的负载入口地址，API Server 的入口地址就是这个负载地址，再由这个负载地址将请求转发到这些主节点上。

个人建议统一按照高可用模式的方式去搭建 Kubernetes 集群。如果主节点没有多个，那么负载地址只需要将流量直接转发给该节点即可。如果后续有更多的主机资源加入进来之后，可以随时加这些主机加入主节点集群，让主节点集群变成高可用状态。

搭建高可用入口

搭建高可用集群需要 3 台或以上的主节点，并且提供 3 台主节点的统一访问入口。这个访问入口有多种实现思路，包括：

使用 NetScaler、F5 之类的硬件负载器，将流量转发到这些主节点。由于硬件负载器的工作稳定性非常高，因此一般认为已经达到高可用状态；
使用 Nginx、HAProxy 之类的软件负载器，将流量转发到这些主节点。Nginx、HAProxy 这些反向代理软件的工作稳定性也非常高，但是服务器层面可能无法保证是可高用，因此可能存在单点故障；
使用 Keepalived 生成虚拟 IP，当其中一台主节点挂了之后，虚拟 IP 自动切换到另一台主节点上。由于虚拟 IP 会自动在节点间切换，因此一般也认为已经达到高可用状态。如果使用 Keepalived 作为高可用方案，一般还要配合 Nginx 或 HAProxy 这些反向代理软件，将流量负载到所有主节点上，降低单点压力。

对于以上三种方案，有条件的可以使用硬件负载；如果可以申请到虚拟 IP（有些环境不允许使用虚拟 IP），可以使用 Keepalived；如果以上两个方案都没办法，可以选择使用软件负载器。

如果对高可用集群的拓扑结构还没有清晰认识的，可以回到概述文档[链接]里回顾一下。

如果没有 3 台或以上的主节点，可以搭建只有 1 台主节点的高可用入口，搭建过程完全一致。高可用入口建议使用域名/主机名来表示，不要直接使用 IP，这样将来高可用入口如果要发生变更的话，只需要修改一下 DNS 服务即可。

Keepalived + Nginx

Keepalived 方案虽然可以达到高可用，但是该方案会将所有流量都流向一个节点，其余的节点将处于「无事可做」的状态。为了让节点间的压力平衡一点，一般还要在这些节点上搭建反向代理软件，将流量平均到各个节点上，降低单点压力。在本文档里，反向代理软件我们使用 Nginx。

安装 Nginx

我们需要在三台主节点（master[x].cluster.k8s）上都安装 Nginx 服务，并且三台服务器的 Nginx 配置也是相同的。

bash

# 安装 nginx 服务
$ yum install -y nginx

# 修改 nginx 配置文件
$ vi /etc/nginx/nginx.conf

Nginx 服务的配置文件的内容如下:

/etc/nginx/nginx.conf

nginx

# 注意，这个 stream 节点在 http 节点下面，与 http 节点平级，不要写入 http 节点内
stream {
    log_format   basic   '$remote_addr [$time_local] '
                         '$protocol $status $bytes_sent $bytes_received '
                         '$session_time';

    access_log   /var/log/nginx/stream-access.log   basic   buffer=32k;

    error_log    /var/log/nginx/stream-error.log    notice;

    # 包含 conf.d 目录下所有以 .stream 结尾的配置
    include      /etc/nginx/conf.d/*.stream;
}

/etc/nginx/conf.d/kubernetes.stream

nginx

upstream lb_kubernetes {
    server   10.10.20.11:6443   weight=1;            # master1.cluster.k8s
    # 下面两个节点的环境还没搭好，可以先设为备用服务器，不参与负载
    # 如果希望下面两节点也参与负载，可以在所有主节点都完成初始化之后，把 backup 选项删除即可
    server   10.10.20.12:6443   weight=1   backup;   # master2.cluster.k8s
    server   10.10.20.13:6443   weight=1   backup;   # master3.cluster.k8s
}

server {
    # 监听 16433 端口，后续通过此端口访问 kubernetes 集群
    listen                  16433;
    ssl_preread             on;

    proxy_pass              lb_kubernetes;
    proxy_connect_timeout   300s;
    proxy_timeout           300s;
}

bash

# 启用 nginx 服务
$ systemctl start nginx && systemctl enable nginx

# 测试 nginx 服务是否正常可用
$ telnet 10.10.20.11 16433
Trying 10.10.20.11...
Connected to 10.10.20.11.
Escape character is '^]'.
Connection closed by foreign host.

安装 Keepalived

部署 Keepalived 后，会生成一个虚拟 IP，我们就可以通过这个虚似 IP 访问主节点，从而保证主节点的高可用。在本方案里，如果 nginx 挂了，或者整个服务器挂了，Keepalived 会自动切换到其它的节点。更多关于 Keepalived 的信息，可以参考我另一篇文档[链接]。

在三台主节点（master[x].cluster.k8s），执行以下命令，安装 Keepalived 服务。

bash

# 安装 keepalived 服务
$ yum install -y keepalived

# 创建 nginx 进程检测脚本
$ vi /etc/keepalived/check_alived.sh

#!/bin/bash
# 检测 nginx 是否启正常
if [ `ps -C nginx --no-header | wc -l` -eq 0 ]; then
    # nginx 不正常，则代表当前节点无法正常工作
    echo "nginx is not alived";
    # 尝试重启 nginx 服务
    systemctl restart nginx;
    exit 1;
else
    echo "nginx is alived";
    exit 0;
fi

# 给进程检测脚本添加可执行权限
$ chmod +x /etc/keepalived/check_alived.sh

在三台主节点中，选取其中一台作为 Keepalived 的主节点，其余为备用节点。在这里我们选用 master1.cluster.k8s 作为 Keepalived 的主节点，master2.cluster.k8s 和 master3.cluster.k8s 为备用节点。

修改 master1.cluster.k8s 节点的 Keepalived 配置文件。

/etc/keepalived/keepalived.conf

nginx

! Configuration File for keepalived

global_defs {
    router_id                LVS_DEVEL
    script_user              root
    enable_script_security
}

vrrp_script check_alived {
    script     "/etc/keepalived/check_alived.sh"
    interval   2
    fail       1
    rise       1
}

vrrp_instance VI_1 {
    state               MASTER         # 主节点
    interface           ens192         # 虚拟 IP 绑定的网络接口
    mcast_src_ip        10.10.20.11    # 主节点 IP 地址
    virtual_router_id   51
    priority            110            # 主节点的优先级最高
    advert_int          2
    authentication {
        auth_type       PASS
        auth_pass       KP_PASS
    }
    virtual_ipaddress {                # 虚拟 IP 地址
        10.10.20.10
    }
    track_script {
        check_alived
    }
}

修改 master2.cluster.k8s 节点和 master3.cluster.k8s 节点的 keepalived 配置文件。注意有注释的地方。

/etc/keepalived/keepalived.conf

nginx

! Configuration File for keepalived

global_defs {
    router_id                LVS_DEVEL
    script_user              root
    enable_script_security
}

vrrp_script check_alived {
    script     "/etc/keepalived/check_alived.sh"
    interval   2
    fail       1
    rise       1
}

vrrp_instance VI_1 {
    state               BACKUP           # 备用节点
    interface           ens192           # 虚拟 IP 绑定的网络接口
    mcast_src_ip        10.10.20.12      # 备用节点 IP 地址
    virtual_router_id   51
    priority            100              # 备用节点的优先级。比需比主节点要低。
    advert_int          2
    authentication {
        auth_type       PASS
        auth_pass       KP_PASS
    }
    virtual_ipaddress {                  # 虚拟 IP 地址
        10.10.20.10
    }
    track_script {
        check_alived
    }
}

最后启用 Keepalived 服务即可。

bash

# 启用 Keepalived 服务
$ systemctl start keepalived && systemctl enable keepalived

# 测试 Keepalived 服务是否正常
# PING 虚拟 IP，看看虚拟 IP 会不会响应
$ ping 10.10.20.10 -c 4
PING 10.10.20.10 (10.10.20.10) 56(84) bytes of data.
64 bytes from 10.10.20.10: icmp_seq=1 ttl=64 time=0.120 ms
64 bytes from 10.10.20.10: icmp_seq=2 ttl=64 time=0.083 ms
64 bytes from 10.10.20.10: icmp_seq=3 ttl=64 time=0.077 ms
64 bytes from 10.10.20.10: icmp_seq=4 ttl=64 time=0.127 ms

--- 10.10.20.10 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3070ms
rtt min/avg/max/mdev = 0.077/0.101/0.127/0.025 ms

# 测试虚拟 IP 的 Nginx 服务是否正常
# 如果测试不通过的话，需要检查一下防火墙、Nginx、Keepalived、SELinux 等的状态和配置是否有问题
$ telnet 10.10.20.10 16433
Trying 10.10.20.10...
Connected to 10.10.20.10.
Escape character is '^]'.
Connection closed by foreign host.

修改 DNS 服务

修改 svc.cluster.k8s 服务器上的 DNS 服务的 hosts 文件，将 master.cluster.k8s 映射为 10.10.20.10，这样就可以直接通过域名来访问 Kubernetes 的主节点集群。

bash

# 修改 DNS 服务的 hosts 文件，添加一条 master.cluster.k8s 记录
$ nano docker-compose/svc-dns/hosts

# 添加以下记录后，保存退出即可（10.10.20.10 是 Keepalived 虚拟出来的 IP）
10.10.20.10   master.cluster.k8s

# 测试域名解析是否正常
$ telnet master.cluster.k8s 16443
Trying 10.10.20.10...
Connected to master.cluster.k8s.
Escape character is '^]'.
Connection closed by foreign host.

硬件负载器

不同的硬件负载器有不同的配置方式，总体思路是将流量转发到 master[x].cluster.k8s 节点上即可。

软件负载器

软件负载器相对基它方案来说，是最简单以及我们最熟悉的方案。本方案只需要找一台服务器部署 Nginx、HAProxy 这些反向代理软件，将流量负载到主节点上，即可完成软件负载器的搭建工作。

由于所有流量都要通过该软件负载器所在的服务器，因此我们要尽可能保证该服务器的稳定性。如果该服务器宕机，可能会让集群无法正常工作，因此我们最好不要在这台服务器上部署一些高负载的应用，确保该服务器正常运行。

本方案里，我们选用 Nginx 作为软件负载器。

安装 Nginx

找一台空闲的服务器（如果资源匮乏，复用 svc.cluster.k8s 节点也可以），安装 Nginx 并修改相关配置:

bash

# 安装 nginx 服务
$ yum install -y nginx

# 修改 nginx 配置文件
$ vi /etc/nginx/nginx.conf

Nginx 服务的配置文件的内容如下:

/etc/nginx/nginx.conf

nginx

# 注意，这个 stream 节点在 http 节点下面，与 http 节点平级，不要写入 http 节点内
stream {
    log_format   basic   '$remote_addr [$time_local] '
                         '$protocol $status $bytes_sent $bytes_received '
                         '$session_time';

    access_log   /var/log/nginx/stream-access.log basic buffer=32k;
    error_log    /var/log/nginx/stream-error.log notice;

    # 包含 conf.d 下所有以 .stream 结尾的配置
    include      /etc/nginx/conf.d/*.stream;
}

/etc/nginx/conf.d/kubernetes.stream

nginx

upstream lb_kubernetes {
    server   10.10.20.11:6443   weight=1;            # master1.cluster.k8s
    # 下面两个节点的环境还没搭好，可以先设为备用服务器，不参与负载
    # 如果希望下面两节点也参与负载，可以在所有主节点都完成初始化之后，把 backup 选项删除即可
    server   10.10.20.12:6443   weight=1   backup;   # master2.cluster.k8s
    server   10.10.20.13:6443   weight=1   backup;   # master3.cluster.k8s
}

server {
    # 监听 16433 端口，后续通过此端口访问 kubernetes 集群
    listen                  16433;
    ssl_preread             on;

    proxy_pass              lb_kubernetes;
    proxy_connect_timeout   300s;
    proxy_timeout           300s;
}

bash

# 启用 nginx 服务
$ systemctl start nginx && systemctl enable nginx

# 测试 nginx 服务是否正常可用
$ telnet 10.10.20.11 16433
Trying 10.10.20.11...
Connected to 10.10.20.11.
Escape character is '^]'.
Connection closed by foreign host.

修改 DNS 服务

修改 svc.cluster.k8s 服务器上的 DNS 服务的 hosts 文件，将 master.cluster.k8s 映射为 Nginx 所在服务器，这样就可以直接通过域名来访问 Kubernetes 的主节点集群。

bash

# 修改 DNS 服务的 hosts 文件
$ nano docker-compose/svc-dns/hosts

# 添加或修改 master.cluster.k8s 主机的解析信息后，保存退出即可（这里是复用了 svc.cluster.k8s 节点）
10.10.20.0   master.cluster.k8s

# 测试域名解析是否正常
$ telnet master.cluster.k8s 16443
Trying 10.10.20.0...
Connected to master.cluster.k8s.
Escape character is '^]'.
Connection closed by foreign host.

初始化

修改配置文件

在完成上面的步骤和测试之后，在主节点（master1.cluster.k8s）服务器上执行以下命令，导出默认的 Kubernetes 配置：

bash

# 导出 kubeadm 的默认配置
$ kubeadm config print init-defaults > kubeadm-config.yaml

修改配置文件 kubeadm-config.yaml（主要修改有注释的地方）。

yaml

apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
  - groups:
      - system:bootstrappers:kubeadm:default-node-token
    token: abcdef.0123456789abcdef
    ttl: 24h0m0s
    usages:
      - signing
      - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 10.10.20.11 # 此处修改为当前主节点的 IP
  bindPort: 6443
nodeRegistration:
  criSocket: unix:///var/run/containerd/containerd.sock
  imagePullPolicy: IfNotPresent
  name: master1.cluster.k8s   # 修改为当前主节点的 hostname
  taints: null
---
apiServer:
  certSANs:
    - master.cluster.k8s # 控制节点集群入口域名
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controlPlaneEndpoint: master.cluster.k8s:16443 # 控制节点集群入口域名和反向代理端口
controllerManager: { }
dns: { }
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: registry.k8s.io
kind: ClusterConfiguration
kubernetesVersion: 1.27.4 # 修改为当前要部署的 Kubernetes 版本
networking:
  dnsDomain: cluster.local
  podSubnet: 10.244.0.0/16 # 使用 flannel 模型通信，这个 IP 的值需要固定为这个值
  serviceSubnet: 10.96.0.0/16 # 创建 Service 时的网段
scheduler: { }
---
# 指定使用 ipvs 网络通信
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
featureGates:
  SupportIPVSProxyMode: true
mode: ipvs