掘金 后端 ( ) • 2022-08-14 10:08

一、Kubernetes 概述

1.1 Kubernetes 是什么?

Kubernetes 是一个可移植、可扩展的开源平台,用于管理容器化的工作负载和服务,可促进声明式配置和自动化。

Kubernetes 拥有一个庞大且快速增长的生态,其服务、支持和工具的使用范围相当广泛。

1.2 为什么叫它 K8S ?

Kubernetes 这个名字源于希腊语,意为“舵手”或“飞行员”。

k8s 是因为用8代替名字中间的8个字符”ubernete“而成的缩写。 Google 在 2014 年开源了 Kubernetes 项目。 Kubernetes 建立在 Google 大规模运行生产工作负载十几年经验的基础上, 结合了社区中最优秀的想法和实践。

1.3 部署方式的进化

  • 传统部署时代

    • 早期,我们是在物理服务器上运行应用程序。由于无法限制在物理服务器中运行的应用程序资源使用,因此会导致资源分配问题
    • 例如,如果在物理服务器上运行多个应用程序, 则可能会出现一个应用程序占用大部分资源的情况,而导致其他应用程序的性能下降
    • 解决方案是将每个应用程序都运行在不同的物理服务器上,但是当某个应用程序资源利用率不高时,剩余资源无法被分配给其他应用程序, 而且维护许多物理服务器的成本很高
  • 虚拟化部署时代:

    • 因此,虚拟化技术被引入了。虚拟化技术允许你在单个物理服务器的 CPU运行多台虚拟机VM)。
    • 虚拟化能使应用程序在不同 VM 之间被彼此隔离,且能提供一定程度的安全性, 因为一个应用程序的信息不能被另一应用程序随意访问。
    • 虚拟化技术能够更好地利用物理服务器的资源,并且因为可轻松地添加或更新应用程序, 而因此可以具有更高的可伸缩性,以及降低硬件成本等等的好处。
    • 每个 VM 是一台完整的计算机,在虚拟化硬件之上运行所有组件,包括其自己的操作系统(OS)。
  • 容器部署时代:

    • 容器类似于 VM,但是更宽松的隔离特性,使容器之间可以共享操作系统OS)。 因此,容器比起 VM 被认为是更轻量级的。
    • 它与 VM 类似,每个容器都具有自己的文件系统、CPU、内存、进程空间等。 由于它们与基础架构分离,因此可以跨云和 OS 发行版本进行移植。
  • 容器的优势

    • 敏捷应用程序的创建和部署:与使用 VM 镜像相比,提高了容器镜像创建的简便性和效率。
    • 持续开发、集成和部署:通过快速简单的回滚(由于镜像不可变性), 提供可靠且频繁的容器镜像构建和部署。
    • 关注开发与运维的分离:在构建、发布时创建应用程序容器镜像,而不是在部署时, 从而将应用程序与基础架构分离。
    • 可观察性:不仅可以显示 OS 级别的信息和指标,还可以显示应用程序的运行状况和其他指标信号。
    • 跨开发、测试和生产的环境一致性:在笔记本计算机上也可以和在云中运行一样的应用程序。
    • 跨云和操作系统发行版本的可移植性:可在 UbuntuRHELCoreOS、本地、 Google Kubernetes Engine 和其他任何地方运行。
    • 以应用程序为中心的管理:提高抽象级别,从在虚拟硬件上运行 OS 到使用逻辑资源在 OS 上运行应用程序。
    • 松散耦合、分布式、弹性、解放的微服务:应用程序被分解成较小的独立部分, 并且可以动态部署和管理 - 而不是在一台大型单机上整体运行。
    • 资源隔离:可预测的应用程序性能。
    • 资源利用:高效率和高密度。

1.4 为什么需要 Kubernetes,它能做什么?

容器是打包和运行应用程序的好方式。在生产环境中, 你需要管理运行着应用程序的容器,并确保服务不会下线。 例如,如果一个容器发生故障,则你需要启动另一个容器。 如果此行为交由给系统处理,是不是会更容易一些?

这就是 Kubernetes 要来做的事情! Kubernetes 为你提供了一个可弹性运行分布式系统的框架Kubernetes 会满足你的扩展要求、故障转移、部署模式等。 例如,Kubernetes 可以轻松管理系统的 Canary 部署。

Kubernetes 为你提供:

  • 服务发现和负载均衡Kubernetes 可以使用 DNS 名称或自己的 IP 地址来曝露容器。 如果进入容器的流量很大, Kubernetes 可以负载均衡并分配网络流量,从而使部署稳定。

  • 存储编排Kubernetes 允许你自动挂载你选择的存储系统,例如本地存储、公共云提供商等。

  • 自动部署和回滚:你可以使用 Kubernetes 描述已部署容器的所需状态, 它可以以受控的速率将实际状态更改为期望状态。例如,你可以自动化 Kubernetes 来为你的部署创建新容器, 删除现有容器并将它们的所有资源用于新容器。

  • 自动完成装箱计算Kubernetes 允许你指定每个容器所需 CPU 和内存(RAM)。 当容器指定了资源请求时,Kubernetes 可以做出更好的决策来为容器分配资源

  • 自我修复Kubernetes 将重新启动失败的容器、替换容器、杀死不响应用户定义的运行状况检查的容器, 并且在准备好服务之前不将其通告给客户端。

  • 密钥与配置管理Kubernetes 允许你存储和管理敏感信息,例如密码、OAuth 令牌和 ssh 密钥。 你可以在不重建容器镜像的情况下部署和更新密钥和应用程序配置,也无需在堆栈配置中暴露密钥。

二、Kubernetes 架构

2.1 节点架构图

2.2 Master 节点架构说明

  • API Server
    • 对外暴露 K8SAPI 接口,是外界进行资源操作的唯一入口
    • 提供认证、授权、访问控制、API 注册和发现等机制。
  • Scheduler
    • 主节点上的组件,该组件监视那些新创建的未指定运行节点的 Pod,并选择节点让 Pod 在上面运行。
    • 所有对 k8s集群操作,都必须经过主节点进行调度
  • Controller
    • 在主节点上运行控制器的组件。
    • 节点控制器(Node Controller): 负责在节点出现故障时进行通知和响应。
    • 副本控制器(Replication Controller): 负责为系统中的每个副本控制器对象维护正确数量的 Pod
    • 端点控制器(Endpoints Controller): 填充端点(Endpoints)对象(即加入 ServicePod)。
    • 服务帐户和令牌控制器(Service Account & Token Controllers): 为新的命名空间创建默认帐户和 API 访问令牌。
  • etcd
    • etcd 是兼具一致性和高可用性的键值数据库,可以作为保存 Kubernetes 所有集群数据的后台数据库。
    • Kubernetes 集群的 etcd 数据库通常需要有个备份计划。

2.3 Node 节点架构说明

  • 容器运行环境(Container Runtime):
    • 容器运行环境是负责运行容器的软件。
    • Kubernetes 支持多个容器运行环境: Dockercontainerdcri-orktlet 以及任何实现 Kubernetes CRI (容器运行环境接口)。
  • Kubelet
    • 一个在集群中每个节点上运行的代理。它保证容器都运行在 Pod 中。
    • 负责维护容器的生命周期,同时也负责 VolumeCSI)和网络(CNI)的管理。
  • Kube-proxy
    • 负责为 Service 提供 cluster 内部的服务发现负载均衡
  • Fluentd
    • 是一个守护进程,它有助于提供集群层面日志

三、集群搭建

3.1 前置操作

所有节点执行。

# 提示:以下前置操作是为了确保kube-API服务可达,避免因为通信、权限、系统管理及时间不同步等问题引起的未知错误。

# 1.关闭并禁用防火墙
$ systemctl stop firewalld
$ systemctl disable firewalld

# 2.关闭SElinux
$ sed -i 's/enforcing/disabled/' /etc/selinux/config
$ setenforce 0

# 3.关闭swap 
# 关闭配置文件“/etc/fstab”中所有的交换空间与设置为swap的设备
$ swapoff -a 
# 永久关闭交换分区
$ sed -ri 's/.*swap.*/#&/' /etc/fstab
# 验证,swap必须为0
$ free -g 

# 4.检查时间是否一致,并同步最新时间(若系统镜像为CentOS-8 则使用 chrony 进行时间同步)
$ date
$ yum -y install ntpupdate
$ ntpupdate time.window.com 

# 5.检查服务器之间是否能ping通

3.2 安装 docker

所有节点执行。

注意:已有docker且不想初始化环境的可跳过该步骤。

# 1.卸载之前的docker
$ sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine
                  
# 2.安装Docker-CE(工具包、存储库、引擎)
$ sudo yum install -y yum-utils

$ sudo yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo

$ sudo yum -y install docker-ce docker-ce-cli containerd.io

# 3.启动docker
$ sudo systemctl start docker

# 4.配置镜像加速
$ sudo mkdir -p /etc/docker

$ sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://ke9h1pt4.mirror.aliyuncs.com"]
}
EOF

# 5.重启后台线程及docker
$ sudo systemctl daemon-reload

$ sudo systemctl restart docker

# 6.启动Docker并设置开机自启
$ sudo systemctl enable docker

# 7.验证docker
$ docker run hello-world

3.3 安装 kubelet kubeadm kubectl

所有节点执行。

  • kubelet:在集群中的每个节点上用来启动 Pod 和容器等。

  • kubeadm:用来初始化集群的指令。

  • kubectl:用来与集群通信的命令行工具。

  • 阿里云镜像官方文档:https://developer.aliyun.com/mirror/kubernetes?spm=a2c6h.13651102.0.0.70be1b11jLZa5q

# 1.配置kubernetes阿里云镜像源
$ cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

# 2.安装指定版本的kubelet kubeadm kubectl
$ yum install -y kubelet-1.17.3 kubeadm-1.17.3 kubectl-1.17.3

# 注意:由于官网未开放同步方式, 可能会有索引gpg检查失败的情况。
# 若此处出现报错:[Errno -1] repomd.xml signature could not be verified for kubernetes
# 这时请用 yum install -y --nogpgcheck kubelet kubeadm kubectl 安装

# 3.设置开机启动
$ systemctl enable kubelet && systemctl start kubelet

# 4.查看kubelet的状态
$ systemctl status kubelet

# 5.查看kubelet版本
$ kubelet --version

3.4 初始化 Master

只在Master节点执行。

  • 创建镜像下载脚本
# 1.为避免镜像下载失败,使用脚本进行相关镜像下载
$ mkdir /home/script

# 2.拷贝并保存以下脚本内容
$ vim /home/script/master_images.sh
  • 脚本内容
#!/bin/bash

images=(
kube-apiserver:v1.17.3
    kube-proxy:v1.17.3
kube-controller-manager:v1.17.3
kube-scheduler:v1.17.3
coredns:1.6.5
etcd:3.4.3-0
    pause:3.1
)

for imageName in ${images[@]} ; do
    docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
#   docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName  k8s.gcr.io/$imageName
done
  • 执行脚本
# 1.切换至脚本所在目录
$ cd /home/script

# 2.配置脚本读写权限
$ chmod 777 master_images.sh

# 3.执行脚本
$ ./master_images.sh

# 4.检查下载完成的镜像
$ docker images | grep registry.cn
  • 初始化 kubeadm
# 1.初始化
$ kubeadm init \
--image-repository registry.cn-hangzhou.aliyuncs.com/google_containers \
--kubernetes-version   v1.17.3 \
--service-cidr=10.96.0.0/16  \
--pod-network-cidr=10.244.0.0/16  \
--ignore-preflight-errors=Swap  \
--v=5

# 出现 "Your Kubernetes control-plane has initialized successfully!" 则表示成功

# 若此处初始化出现报错:[ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables contents are not set to 1

# 则需要执行 echo 1 > /proc/sys/net/bridge/bridge-nf-call-iptables 命令

# 为1表示linux桥下的报文会经过ip层的netfilter框架处理,即可以通过iptables命令来对桥下的报文进行处理。
# 当该值为0时,只能通过ebtables来处理桥下的报文。

3.5 使用 kubectl 工具

只在Master节点执行。

# 1.使用集群前,在[master节点]上需要执行命令
$ mkdir -p $HOME/.kube
$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config

# 2.获取所有节点(目前master状态为NotReady,等待网络加入完成即可。)
$ kubectl get nodes 

3.6 安装 Pod 网络插件

只在Master节点执行。

# 1.在[master节点]上执行安装Pod网络插件(由于外网下载可能被墙或者其他原因导致下载容易失败,此处使用私人的对象存储进行文件拉取)
$ cd /etc/kubernetes/
$ wget https://conf-1310211961.cos.ap-chengdu.myqcloud.com/kube-flannel.yml

# 2.运行 flannel.yml 
$ kubectl apply -f  kube-flannel.yml

# 3.查看命名空间
$ kubectl get ns

# 4.查看所有名称空间的Pods
$ kubectl get pods --all-namespaces
  • 一定要等待为 Running 状态再进行其他操作(表示网络准备就绪)

# 5.查看[master节点]上的节点信息(注意:STATUS为Ready才能够执行下面的命令!)
$ kubectl get nodes

3.7 Node join Master

# 1.在[master节点]执行,创建永不过期的token,并复制打印的命令内容
$ kubeadm token create --ttl 0 --print-join-command

# 2.在[其他子节点]执行join命令
kubeadm join 10.0.8.11:6443 --token 879ce8.81ax8ihcesagd7yb \
    --discovery-token-ca-cert-hash sha256:42c3679232e1c094e10ebad1bec898a46a5a3a998217d05dba8f102a88f15e3b --v=5

# 3.可在[master节点]查询token过期时间
$ kubeadm token list

# 4.再次在[master节点]执行,可查看到新加入的node
$ kubectl get nodes

3.8 Master 初始化(非必要步骤)

当Master-Node安装过程出现问题,又难以排查,此时想重新安装可以执行如下初始化操作。

# 1.初始化环境
$ swapoff -a
$ kubeadm reset
$ systemctl daemon-reload
$ systemctl restart kubelet
$ iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X  

# 2.清除文件
$ rm -rf /etc/kubernetes/*    
$ rm -rf ~/.kube/*
$ rm -rf /var/lib/etcd/*

 
# 3.使用脚本杀服务进程,避免端口冲突
$ cd /home/script/
# 4.复制脚本内容
$ vim stop_kube.sh

# 5.添加脚本权限并执行
$ chmod 777 stop_kube.sh
$ ./stop_kube.sh
  • 脚本内容
#!/bin/bash

ports=(
6443
10259
10257
10250
2379
2380
)

for port in ${ports[@]} ; do
    lsof -i :$port|grep -v "PID"|awk '{print "kill -9",$2}'|sh
done

四、结束语

“-------怕什么真理无穷,进一寸有一寸的欢喜。”

微信公众号搜索:饺子泡牛奶