Bootstrap

2020版Kubernetes快速上手指南，让你所见即所得

2022-03-09 作者: ABC实验室

版权声明：本文为 ABC实验室 原创文章，版权所有， 侵权必究！

编者语

Kubernetes作为新一代云计算平台，自2014年开源以来得到快速发展（2016年）并逐步成熟（2018年），极大推动了云原生领域及技术（微服务、FaaS和Serverless）的发展，被誉为影响云计算未来10年的革新技术。随着Kubernetes及其生态的广泛成熟，我想2020年除了那些大厂外，在中小型IT公司Kubernetes也一定得到普遍青睐和积极采用。可以说2020年是Kubernetes大踏步进入中小企业市场的最佳时机，2020年绝对是Kubernetes“生产力元年”。因此作为开发人员，很有必要花点时间跟进学习下Kubernetes这门新技术。本文结合自己的实践分享下Kubernetes简单快速上手过程（简称快手指南)，希望对大家有所帮助。

注：从 Google 搜索引擎的趋势数据来看，Kubernetes和Spring Boot的关注度同趋势地从2016年后迅猛增长，而相应OpenStack和Hadoop在2016后遇冷下降明显，折射着云计算2.0时代的到来。

目标

作为新人，Kubernetes上手普遍存在如下痛点：

基于以上常见痛点，本文结合实验室搭建的，通过“所见即所得”方式来讲解下具体的实践过程，希望能达到如下目标：

预演

本教程涉及源代码可以通过如下方式下载：

  • 国内Gitlab: 

  • 国外Github：

本教程支持在线演示环境体验，具体访问方式如下：

  • 群集演示地址: 

  • 演示登录Token:  请扫码关注ABC实验室微信公众号，输入"k8s" 即可获取。

演示群集Dashboard截图

建议先体验演示环境，获取直观感受！

概述

Kubernetes  希腊语为“舵手”，是一个轻便、可扩展的工业级容器编排平台，用于管理容器化应用和服务。Google基于内部Borg系统研发并于2014年正式开源，目前最新发布了V1.18版本。

架构

Kubernetes架构如下图所示

Kubernetes群集一个主从的分布式架构，由Master节点（多个）组成的控制平面和Work节点（多个）组成的数据计算平面共同组成。主要组件如下：

  • API Server：负责所有组件之间通信，并负责存储状态和配置到Etcd库中;

  • Controller Manager：包含不同类型的群集控制器（如ReplicationSet/Deployment/Service等控制器），执行群集级别的功能，如复制组件、持续跟踪工作节点、处理节点识别等;

  • Scheduler：重点负责给应用的Pod调度分配相应节点;

  • Etcd：一个可靠的分布式数据存储，持久化保存群集状态和元数据;

  • Kubelet：管理所在工作节点的所有容器，并持续跟踪和保持和API Server通讯，响应相关容器管理事件;

  • Kube-proxy：他负责组件之间的负载均衡和服务的网络连通;

  • Docker引擎：底层运行环境，可以是docker、rtk或其他引擎;

核心概念

  • Pod：最小的调度分配单元，可包含一组容器和卷组成，同一个Pod的容器组共享同一个网络命名空间;

  • ReplicationController/ReplicateSet:  用于控制Pod副本数量，保证Pod始终运行;

  • DeamonSet： 保证在所有群集节点上运行一个Pod;

  • Service: 为一组功能相同的Pods提供单一不变的接入点，解耦Pods伸缩能力;

  • Deployment：类似ReplicationController/ReplicateSet， 增加滚动升降级策略和能力;

  • ConfigMap：配置选项，支持配置从Pod中解耦分离;

  • Secret：类似ConfigMap，用于敏感数据保存;

  • StatefulSet：类似ReplicateSet，但StatefulSet提供Pod状态保持，在重新调度后保留他们的标识和状态，适合数据库等有状态应用场景;

特点

Kubernetes平台有如下典型特征：

  • 容器的自动装箱，即调度;

  • 水平扩容和伸缩，通过控制Pod副本数量达到伸缩能力;

  • 服务发现和负载均衡;

  • 服务自愈和恢复能力;

  • 应用自动发布和回滚;

  • 服务流量路由;

  • 可扩展跟踪;

安装说明

好了，简单了解完基本概念和架构后，让我们开始动手实践下吧！

安装步骤

整体安装分为如下8大步：

配置说明

  • 安装工具： kubeadm （v1.18.2）

  • Kubernetes版本：v1.18.2 (最新稳定版本)

  • 硬件最低要求： 2核 4G内存 20G 硬盘 (）

  • 服务器操作系统：Ubuntu Server 18.04 LTS

  • Docker版本： 19.03.8 （最新稳定版本）

  • 环境域名： k8s.abcxlab.com （Dashboard)，*.k8s.abcxlab.com (应用）

节点说明

群集节点安排： 1个Master节点、2个Work节点，具体如下所示：

代码说明

源代码地址：

源代码目录说明：

/app - - springboot应用 和 nodejs 应用目录，包括应用源代码、k8s部署脚本、镜像Dockerfile配置等

/k8s - -  Kubernetes 配置脚本，包括安装脚本和网络、负载和Dashboard等YAML配置文件等

应用说明

搭建好Kubernetes平台后，用于应用部署的两类常见应用说明如下：

SpringBoot应用

应用名称：micro

功能说明：功能很简单，只打印输出应用所在容器的hostname

应用代码：

Docker镜像地址：

镜像构建方式：

NodeJs应用

  • 应用名称：kubia

  • 功能说明：功能很简单，只打印输出应用所在容器的hostname

  • 应用代码：

  • Docker镜像地址: 

  • 镜像构建方式：Docker build

安装过程

节点配置

按照最低硬件要求配置类似如下三个物理节点服务器（虚拟机也可），一个为Master节点，另外两个为Work节点。

注：本快速安装为非高可用安装，支持高可用可参考文末“延伸”章节介绍

Hostname

角色

IP

XAntMaster Node192.168.1.4XBoxWork Node192.168.1.5XBeeWork Node192.168.1.6

安装Ubuntu Server 18.04 LTS 操作系统，并关闭虚拟内存swap功能。

sudo swapoff -a
free -h
             total        used        free      shared  buff/cache   available
Mem:            15G        8.4G        321M        348M        6.9G        6.6G
Swap:            0B          0B          0B

Docker安装

所有节点部署Docker作为容器引擎，安装命令如下：

curl -sfL https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/k8s/install-docker.sh | sh -

Master安装

kubernates Master节点安装，分为三个步骤

1. 安装kubeadm工具，命令如下:

curl -sfL https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/k8s/install-kubeadm.sh | sh -

2.手动下载所需镜像（防止自动安装时所需国外镜像没法下载），命令如下：

curl -sfL https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/k8s/pull-kube-image.sh | sh -

3. 使用kubeadm创建群集，命令如下：

sudo kubeadm init --kubernetes-version=$(kubeadm version -o short)  --pod-network-cidr=10.244.0.0/16

正确执行三个步骤后，如果出现如下类似提示，说明安装成功。

...
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 192.168.1.4:6443 --token rfstgm.lxk9eik0ub409ifo \
    --discovery-token-ca-cert-hash sha256:ec0d455d57d9b8348793a1ba1b937412f4264f1ee37215857c8e8e451d452fa2

按照上面提示在Master上运行配置好kubernetes-cli运行环境，命令如下：

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

同时记下Work 节点加入群集的命令，类似如下：

kubeadm join 192.168.1.4:6443 --token rfstgm.lxk9eik0ub409ifo \
    --discovery-token-ca-cert-hash sha256:ec0d455d57d9b8348793a1ba1b937412f4264f1ee37215857c8e8e451d452fa2

关于网络配置提示，先不用担心，后续网络配置章节会做详细介绍。

提示：为了便于后续Master节点命令行中便捷输入，建议配置Shell自动补全功能， 如下所示：

#针对bash shell配置
echo "source <(kubectl completion bash)" >> ~/.bashrc
source ~/.bashrc
#针对zsh shell配置
vim ~/.zshrc
#追加如下内容
if [ $commands[kubectl] ]; then
  source <(kubectl completion zsh)
fi
source ~/.zshrc

Work安装

Work节点的安装第一步类似Master节点（这里用XBox举例）

1.先安装kubeadm工具，命令如下:

curl -sfL https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/k8s/install-kubeadm.sh | sh -

2.再按照Master节点提示，执行如下节点Join命令

sudo kubeadm join 192.168.1.4:6443 --token rfstgm.lxk9eik0ub409ifo --discovery-token-ca-cert-hash sha256:ec0d455d57d9b8348793a1ba1b937412f4264f1ee37215857c8e8e451d452fa2

提示：如果token过期或忘记discovery-token-ca-cert-hash相应参数值，可以通过在Master节点运行如下命令获取相应值，其中ca-cert-hash记得加”sha256:“前缀

#重新生成token
kubeadm token create
#获取discovery-token-ca-cert-hash
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

按照以上类似步骤，安装另外一个Work节点XBee。

等所有节点都安装完毕后，在Master节点XAnt进行安装验证。

3. 检查群集，看节点是否加入群集

如图上所示即表明我们kubernetes群集安装成功，如果Work节点状态暂时显示为NotReady也不用着急，我们继续配置网络即可。

提醒：安装过程中遇到问题时，可参考文末“常见问题”章节

网络配置

kubernetes 网络模型核心为三点

采用kubeadm工具安装只支持CNI（Container Network Interface）网络插件，不支持默认的kubenet。因此需要安装相应插件（例如Flannel、Calico、Romana、Weave-net等插件，本文选择采用Overlay网络的Flannel插件），安装命令如下：

备注：Flannel插件相关YAML配置来自官网：

#安装网络插件
sudo kubectl apply -f https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/k8s/1.0_kube-flannel.yaml

# 验证是否安装成功
sudo kubectl get ds -n kube-system

Nginx-Ingress安装

kubernetes群集内部服务可以通过三种方式暴露给外部访问

  • NodePort方式，依赖节点的端口映射，属于节点原生网络；

  • LoadBalance方式，依赖基础设施中负载均衡服务（例如：AWS ELB 或阿里云ELB等），特点是多个LB实例和相应IP地址（属于4层LB)；

  • Ingress方式，它比LB方式的优势在于通过安装的Ingress控制器（例如Nginx-Ingress) 基于固定IP的代理多个HTTP/HTTPS服务，有点类似于域名虚拟主机的反向代理作用（属于7层LB)；

这三种连通内网方式相关比较可参考下图：

由于Ingress连通方式的优点，本文选择Nginx-Ingress组件来暴露内部服务（例如：Kubernetes Dashboard 应用和演示应用都使用Ingress方式）

Nginx-Ingress安装命令如下：

备注：nginx-ingress相关YAML配置来自官网：

#下载Ingress控制器配置文件
wget https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/k8s/2.0_kube-ingress-nginx-extip.yaml

#按需修改externalIP和Port (见备注）
vim 2.0_kube-ingress-nginx-extip.yaml

#安装Ingress控制器
sudo kubectl apply -f 2.0_kube-ingress-nginx-extip.yaml

# 验证是否安装成功
sudo kubectl get pods -n ingress-nginx

注意：Ingress控制器对外IP和端口需要根据自己环境Work节点安排做相应配置，默认配置演示群集中XBee和XBox两个Work节点的IP，端口分别为9090（HTTP)和9443（HTTPS）（如下图所示）。两组IP可以提高可用性，在群集外围可以绑定到基础设施环境的LB上（演示环境用Nginx)，提供对外服务（例如：https://k8.abcxlab.com)或者直接提供访问（例如： )

Dashboard安装

安装好网络插件和Ingress控制器后，就可以开开心心部署应用了。我们就来试试部署Kubernetes群集管理仪表盘Dashboard吧。

备注：Dashboard相关YAML配置来自官网：

# 安装Dashboard应用及相应授权
sudo kubectl apply -f https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/k8s/3.0_kube-dashboard.yaml

# 下载dashboard ingress配置文件
wget https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/k8s/3.1_kube-dashboard-ingress.yaml

#把k8s.abcxlab.com域名改为自己要使用的域名：dashboard.your.domain
vim 3.1_kube-dashboard-ingress.yaml

# 为Dashboard应用配置Ingress访问
sudo kubectl apply -f 3.1_kube-dashboard-ingress.yaml

# 创建登录用的ServiceAccount: admin
sudo kubectl apply -f https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/k8s/3.2_kube-dashboard-admin-user.yaml

# 验证是否安装成功
sudo kubectl get pods -n kubernetes-dashboard

注意：Dashboard的Ingress配置文件的域名：k8s.abcxlab.com 需要修改为自己的域名：

如果Dashboard部署成功，就可以通过https://:9443 方式访问如下登录界面了。(注意：需要域名访问）

应用部署

如果一切没问题，接下来就可以用搭建的群集进行应用部署啦！

1.部署NodeJs/kubia应用

# 部署kubia应用
sudo kubectl apply -f https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/app/nodejs/1_kubia-deployment.yaml

# 下载kubia应用ingress配置文件
wget https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/app/nodejs/2_kubia-ingress.yaml

# 把kubia.k8s.abcxlab.com域名改为自己要使用的域名 kubia.your.domain
vim 2_kubia-ingress.yaml

# 为kubia应用配置Ingress访问
sudo kubectl apply -f 2_kubia-ingress.yaml

#检查部署是否成功
sudo kubectl get ingress
curl -kL https://kubia.your.domain/

2.水平伸缩NodeJs/kubia应用

#扩容：从2副本扩容到3
sudo kubectl scale deployment kubia --replicas=3
#检查扩容是否成功
sudo kubectl get pod

#收缩：从3副本扩容到1
sudo kubectl scale deployment kubia --replicas=1
#检查收缩是否成功
sudo kubectl get pod

3.部署SpringBoot/micro应用

类似于NodeJs/kubia应用部署，命令如下：

#部署micro应用
sudo kubectl apply -f https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/app/springboot/1_micro-deployment.yaml

# 下载micro应用ingress配置文件
wget https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/app/springboot/2_micro-ingress.yaml

#把micro.k8s.abcxlab.com域名改为自己要使用的域名 micro.your.domain
vim 2_micro-ingress.yaml

# 为micro应用配置Ingress访问
sudo kubectl apply -f 2_micro-ingress.yaml

#检查部署是否成功
sudo kubectl get ingress
curl -kL https://micro.your.domain/

好了，到此整个Kubernetes群集End-to-End部署和试用完毕，接下来简单聊聊和产线相关话题。

延伸

高可用部署

Kubernetes群集高可用，主要要保证Etcd高可用性和Master节点组件高可用性。

按照Etcd分布式数据库是内置还是外置，Kubernetes高可用部署可分为如下两种方式

1.Master堆叠方式，如下图所示：

2.Etcd外部群集方式，如下图所示：

kubeadm工具也支持高可用群集部署，由于篇幅有限，更多介绍可参考官方文档：

常见问题

简单来说就是几个工具的使用场景不一样，Minikube 通过虚拟机方式快速安装单节点 Kubernetes 集群，可用于个人电脑快速体验Kubernetes；Kubeadm 是官方推荐的Kubernetes 分发工具，该工具有助于在现有基础架构上引导最佳 Kubernetes 集群实践，优点是能够在任何地方发布最小的可行 Kubernetes 集群；但 Kubeadm 不提供基础架构配置（例如：网络、负载均衡、存储等都需要额外配置）；Kops适合于在阿里云、AWS、GCE、Azure、OpenStack等云平台上部署Kubernetes群集，目前不支持裸机部署。Kubespray是产线部署常用工具，依赖Ansible，支持AWS，GCE，Azure，OpenStack等云平台，以及物理服务器的IaaS平台。

a. 通过 kubectl  describe 命令, 查看pod/svc/rc/ds/ingress/deployment等状态

b. 通过 kubectl logs 命令，查看pod日志

c. 通过 kubectl exec -it 进入pod 内部，debug功能

d. tail -f /var/log/syslog  跟踪系统日志

a. 删除群集：kubeadm reset

b. 删除部署:  kubectl delete -f

c. 重启服务:  sudo service kubelet restart

参考

  • Flannel 插件：https://github.com/coreos/flannel

  • Nginx Ingress插件：https://kubernetes.github.io/ingress-nginx/deploy/

  • Dashboard应用：https://github.com/kubernetes/dashboard

公众号

留言 点赞 关注

欢迎关注“ABC实验室”微信公众号，我们一起分享人工智能物联网、大数据和云边计算等前沿IT技术干货。

微信扫一扫

关注该公众号

—— ABC实验室，让技术更简单

原文地址：https://www.abcxlab.com/research/cloud/202005072134085267.html

关于我们

Customize this section to tell your visitors a little bit about your publication, writers, content, or something else entirely. Totally up to you.

热门标签

Elsewhere

  1. GitHub
  2. 竹心导航

返回顶部