kubeadm部署k8s集群，版本1.23.6；并设置calico网络BGP模式通信，版本v3.25--未完待续

1.集群环境创建

三台虚拟机，一台master节点，两台node节点
(根据官网我们知道k8s 1.24版本之后就需要额外地安装cri-dockerd作为桥接才能使用Docker Egine。经过尝试1.24后的版本麻烦事很多，所以此处我们选择1.23.6版本)
在这里插入图片描述
虚拟机环境创建参考另一篇vmware创建虚拟机

2.集群环境初始化

配置centos7的yum源

cd /etc/yum.repos.d 
mkdir repo_bak
mv *.repo repo_bak/
#下载阿里的CentOS-Base.repo 到/etc/yum.repos.d/
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
#清空缓存
yum clean all 
#生成新的缓存
yum makecache 
#安装EPEL源
yum install -y epel-release 
#再次运行yum clean all 清除缓存，运行 yum makecache 生成新的缓存
yum clean all 
yum makecache

初始操作（所有host都需要执行）

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 关闭selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config  # 永久
setenforce 0  # 临时

# 关闭swap
swapoff -a  # 临时
sed -ri 's/.*swap.*/#&/' /etc/fstab    # 永久

# 关闭完swap后，一定要重启一下虚拟机！！！
# 根据规划设置主机名 ！！！（这里三台虚拟机需要分别设置不同的hostname，任选一个作为master）
# 例：在110上执行hostnamectl set-hostname master，其他主机类似
hostnamectl set-hostname <hostname>  

# 在master添加hosts
cat >> /etc/hosts << EOF
192.168.59.110 k8s-master
192.168.59.111 k8s-node1
192.168.59.112 k8s-node2
EOF


# 将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sysctl --system  # 生效


# 时间同步
yum install ntpdate -y
ntpdate time.windows.com

安装docker

踩坑形安装如下：直接添加docker镜像源安装，结果最后导致docker版本过高，部署k8s的时候报错。

yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum makecache fast
yum -y install docker-ce
service docker start
docker version

纠错过程，根据kubeadm报错，选择合适的docker版本，并重新安装

#删除已安装docker
yum remove docker-ce docker-ce-cli containerd.io
#查看当前镜像源所有docker版本
yum list docker-ce --showduplicates | sort -r
#安装指定docker版本
yum -y install docker-ce-20.10.9-3.el7

配置k8s yum源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0

gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装kubeadm、kubelet、kubectl

yum install -y kubelet-1.23.6 kubeadm-1.23.6 kubectl-1.23.6
systemctl enable kubelet
# 配置关闭 Docker 的 cgroups，修改 /etc/docker/daemon.json，加入以下内容
# 注意注意！这里的registry-mirrors需要自己去华为云配置，请先配置华为云之后再进行下面命令操作，配置如附所示。（测试了好几个，只有这个华为的可以用）
tee /etc/docker/daemon.json <<-'EOF'
{
    "exec-opts": ["native.cgroupdriver=systemd"],
    "registry-mirrors": [ "https://xxx.mirror.swr.myhuaweicloud.com" ]
}
EOF
# 重启 docker
systemctl daemon-reload
systemctl restart docker

3.kubeadm部署k8s master

# 在 Master 节点下执行
kubeadm init \
--apiserver-advertise-address=10.206.32.9 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.23.6 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16
 
------------------------#解释字段----------------------------------------------
--apiserver-advertise-address   //apiserver通告给其他组件的IP地址，一般应该为Master节点的用于集群内部通信的IP地址，0.0.0.0表示节点上所有可用地址
--apiserver-bind-port  //apiserver的监听端口，默认是6443
--cert-dir  //通讯的ssl证书文件，默认/etc/kubernetes/pki
--control-plane-endpoint  //控制台平面的共享终端，可以是负载均衡的ip地址或者dns域名，高可用集群时需要添加
--image-repository   //拉取镜像的镜像仓库，默认是k8s.gcr.io
--kubernetes-version //指定kubernetes版本
--pod-network-cidr  //pod资源的网段，需与pod网络插件的值设置一致。Flannel网络插件的默认为10.244.0.0/16，Calico插件的默认值为192.168.0.0/16；
--service-cidr  //service资源的网段
--service-dns-domain //service全域名的后缀，默认是cluster.local
--token-ttl   //默认token的有效期为24小时，如果不想过期，可以加上 --token-ttl=0 这个参数
 
# 执行完下面的命令有一个kubeadm join的命令，如下图所示，一定要先保存下来！！
# 安装成功后，复制如下配置并执行
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
kubectl get nodes