一 Helm概述
1.1 Helm介绍
Helm 是 Kubernetes 的软件包管理工具。包管理器类似 Ubuntu 中使用的apt、Centos中使用的yum 或者Python中的 pip 一样,能快速查找、下载和安装软件包。通常每个包称为一个Chart,一个Chart是一个目录(一般情况下会将目录进行打包压缩,形成name-version.tgz格式的单一文件,方便传输和存储)。
Helm 由客户端组件 helm 和服务端组件 Tiller 组成, 能够将一组K8S资源打包统一管理, 是查找、共享和使用为Kubernetes构建的软件的最佳方式。
1.2 Helm优势
在 Kubernetes中部署一个可以使用的应用,需要涉及到很多的 Kubernetes 资源的共同协作。如安装一个 WordPress 博客,用到了一些 Kubernetes 的一些资源对象。包括 Deployment 用于部署应用、Service 提供服务发现、Secret 配置 WordPress 的用户名和密码,可能还需要 pv 和 pvc 来提供持久化服务。并且 WordPress 数据是存储在mariadb里面的,所以需要 mariadb 启动就绪后才能启动 WordPress。这些 k8s 资源过于分散,不方便进行管理。
基于如上场景,在 k8s 中部署一个应用,通常面临以下几个问题:
- 如何统一管理、配置和更新这些分散的 k8s 的应用资源文件;
- 如何分发和复用一套应用模板;
- 如何将应用的一系列资源当做一个软件包管理。
对于应用发布者而言,可以通过 Helm 打包应用、管理应用依赖关系、管理应用版本并发布应用到软件仓库。
对于使用者而言,使用 Helm 后不用需要编写复杂的应用部署文件,可以以简单的方式在 Kubernetes 上查找、安装、升级、回滚、卸载应用程序。
1.3 Helm 相关组件及概念
Helm 包含两个组件,分别是 helm 客户端 和 Tiller 服务器:
- helm:是一个命令行工具,主要用于 Kubernetes 应用程序 Chart 的创建、打包、发布以及创建和管理本地和远程的 Chart 仓库。
- Tiller:是 Helm 的服务端,部署在 Kubernetes 集群中。Tiller 负责接收 Helm 的请求,并根据 Chart 生成 Kubernetes 的部署文件( 称为 Release ),然后提交给 Kubernetes 创建应用。(v3版本已移除)
- chart:Helm 的打包格式叫做 chart,所谓 chart 就是一系列文件, 它描述了一组相关的 k8s 集群资源,即包含了一组定义 Kubernetes 资源相关的 YAML 文件。
- release:使用 helm install 命令在 Kubernetes 集群中部署的 Chart 称为 Release。
- Repoistory:Helm chart 的仓库,Repository 本质上是一个 Web 服务器,该服务器保存了一系列的 Chart 软件包以供用户下载,并且提供了一个该 Repository 的 Chart 包的清单文件以供查询。Helm 可以同时管理多个不同的 Repository。
注意:Helm 中提到的 Release 与通常概念中的版本有所不同,Helm 的 Release 可以理解为 Helm 使用 Chart 包部署的一个应用实例。
二 Helm原理机制
2.1 Helm原理
如下图所示描述了Helm 的主要组件 Helm(客户端)、Tiller(服务器)、Repository(Chart 软件仓库)、Chart(软件包)之间的关系以及它们之间如何通信。
Helm架构:
2.2 Helm主要过程
创建release过程:
- helm 客户端从指定的目录或本地tar文件或远程repo仓库解析出chart的结构信息;
- helm 客户端指定的 chart 结构和 values 信息通过 gRPC 传递给 Tiller;
- Tiller 服务端根据 chart 和 values 生成一个 release;
- Tiller 将install release请求直接传递给 kube-apiserver。
删除release:
- helm 客户端从指定的目录或本地tar文件或远程repo仓库解析出chart的结构信息;
- helm 客户端指定的 chart 结构和 values 信息通过 gRPC 传递给 Tiller;
- Tiller 服务端根据 chart 和 values 生成一个 release;
- Tiller 将delete release请求直接传递给 kube-apiserver。
更新release
- helm 客户端将需要更新的 chart 的 release 名称、chart 结构和 value 信息传给 Tiller;
- Tiller 将收到的信息生成新的 release,并同时更新这个 release 的 history;
- Tiller 将新的 release 传递给 kube-apiserver 进行更新。
2.3 chart基本结构
Helm的打包格式叫做chart,所谓chart就是一系列文件, 它描述了一组相关的 k8s 集群资源。Chart中的文件安装特定的目录结构组织, 最简单的chart 目录如下所示:
目录释义:
- charts:该目录存放依赖的chart;
- Chart.yaml:包含Chart的基本信息,包括chart版本,名称等;
- templates:该目录下存放应用,即一系列 k8s 资源的 yaml 模板;
- _helpers.tpl:此文件中定义一些可重用的模板片断,此文件中的定义在任何资源定义模板中可用;
- NOTES.txt:介绍chart 部署后的帮助信息,如何使用chart等;
- values.yaml:包含了必要的值定义(默认值), 用于存储 templates 目录中模板文件中用到变量的值。
参考链接:https://www.jianshu.com/p/4bd853a8068b。
附:helm v3说明:
Helm 2 是 C/S 架构,主要分为客户端 helm 和服务端 Tiller; 与v2版本不同,v3移除了Tiller,只有 helm。
Tiller 主要用于在 Kubernetes 集群中管理各种应用发布的版本,在 Helm 3 中移除了 Tiller, 版本相关的数据直接存储在了 Kubernetes 中。
1:移除Tiller,针对v3版本移除Tiller的说明,可参考:https://blog.csdn.net/zzh_gaoxingjiuhao/article/details/104182596。
2:移除Tiller的优势可参考:https://www.sohu.com/a/364182362_609513。
Helm v3新特性参考:https://www.jianshu.com/p/dfb8e2a42db0、https://github.com/helm/helm/releases/tag/v3.0.0-alpha.1。
三 Helm部署安装
3.1 前置准备
Helm 将使用 kubectl 在已配置的集群上部署 Kubernetes 资源,因此需要如下前置准备:
- 正在运行的 Kubernetes 集群;
- 本地 Docker 客户端;
- 预配置的 kubectl 客户端和 Kubernetes 集群正确交互。
3.2 安装Helm
1 [root@master01 ~]# wget https://get.helm.sh/helm-v3.1.2-linux-amd64.tar.gz
2 [root@master01 ~]# tar -zxvf helm-v3.1.2-linux-amd64.tar.gz
3 [root@master01 ~]# cp linux-amd64/helm /usr/local/bin/
1 [root@master01 ~]# curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3
2 [root@master01 ~]# chmod 700 get_helm.sh
3 [root@master01 ~]# ./get_helm.sh
提示:更多安装方式参考官方手册:https://helm.sh/docs/intro/install/。
1 [root@master01 ~]# helm version #查看安装版本
2 [root@master01 ~]# echo 'source <(helm completion bash)' >> .bashrc #helm自动补全
四 Helm操作
4.1 查找chart
helm search:可以用于搜索两种不同类型的源。
helm search hub:搜索 Helm Hub,该源包含来自许多不同仓库的Helm chart。
helm search repo:搜索已添加到本地头helm客户端(带有helm repo add)的仓库,该搜索是通过本地数据完成的,不需要连接公网。
1 [root@master01 helm]# helm search hub #可搜索全部可用chart
2 [root@master01 helm]# helm search hub wordpress
4.2 添加repo
1 [root@master01 helm]# helm repo list #查看repo
2 [root@master01 helm]# helm repo add brigade https://brigadecore.github.io/charts
3 [root@master01 helm]# helm repo add stable https://kubernetes-charts.storage.googleapis.com/ #添加官方repo
4 [root@master01 helm]# helm repo add bitnami https://charts.bitnami.com/bitnami
5
6 [root@master01 helm]# helm search repo brigade
7 [root@master01 helm]# helm search repo stable #搜索repo中的chart
8 [root@master01 helm]# helm repo update #更新repo的chart
9 [root@master01 helm]# helm repo remove stable #移除repo
4.3 安装软件包
1 [root@master01 helm]# helm search repo mariadb #查找确认存在
2 [root@master01 helm]# helm show chart bitnami/mariadb #可提前查看相关信息
3 [root@master01 helm]# helm install xhy_mariadb bitnami/mariadb #以repo中chart安装
4 [root@master01 helm]# helm install xhy_mariadb2 bitnami.mariadb.tgz #以压缩包中chart安装
5 [root@master01 helm]# helm install xhy_mariadb3 mariadb/ #以解压后的目录安装
6 [root@master01 helm]# helm install xhy_mariadb4 https://hub.helm.sh/charts/bitnami/mariadb.tgz #以远程路径安装
7 [root@master01 helm]# helm ls #查看已安装的release
提示:在 Helm 3 中,必须主动指定release名称,或者增加 --generate-name 的参数使Helm自动生成。
在安装期间,helm客户端将显示有关创建了哪些资源,发布状态是什么以及是否可以或应该执行其他配置步骤的有用信息。
注意:由于许多chart需要较大的镜像,需要一定时间才能正确部署至集群,Helm不会等到所有资源都在运行后才退出。
4.4 状态查看
1 [root@master01 ~]# helm status xhy-mariadb
4.5 升级回滚
当发布新版本的chart时,或者需要更改发布的配置时,可以使用该helm upgrade命令。
1 [root@master01 helm]# vi mariadb.yml #以新配置重发布
2 rootUser:
3 password: abcd1234
4 [root@master01 helm]# helm upgrade -f mariadb.yml xhy-mariadb bitnami/mariadb #升级
5 [root@master01 helm]# helm get values xhy-mariadb #查看新配置
1 [root@master01 helm]# helm history xhy-mariadb #查看安装历史
2 [root@master01 helm]# helm rollback xhy-mariadb 1 #回滚
提示:升级将采用现有发行版,并根据所提供的信息对其进行升级。由于Kubernetes chart可能很大且很复杂,因此Helm尝试执行侵入性最小的升级。它将仅更新自上一发行版以来已更改的内容。
4.6 卸载release
1 [root@master01 helm]# helm uninstall xhy-mariadb #卸载release
2 [root@master01 helm]# helm list
提示:在Helm 3中,删除release也会删除发布记录。如果希望保留删除发布记录,可使用helm uninstall --keep-history。使用helm list --uninstalled将仅显示带有--keep-history标志卸载的发行版。
提示:helm list --all标志可查询Helm保留的所有发布记录,包括失败或已删除项目的记录(如果--keep-history已指定)。
4.7 其他常见选项
--timeout:等待Kubernetes命令完成的秒数,默认5m0s。
--wait:等待,直到所有Pod都处于就绪状态、PVC处于绑定、deployment的Pods最少可用数处于ready状态,并且Services具有IP地址(如果安装的为Ingress LoadBalancer),然后才将发布标记为成功。它将一直等待至--timeout设置的值。如果达到超时,该release将标记为FAILED。
注意:在作为滚动更新策略一部分的Deployment replicas设置为1,maxUnavailable且未设置为0的情况下,--wait只要满足最小Pod就绪状态,它将返回就绪状态。
--no-hooks:跳过命令行的运行钩子。
--dry-run:模拟安装。
-n, --namespace:指定需要部署的命名空间。
提示:hele完整命令选项可执行helm <command> --help查看。
五 Helm自定义安装
5.1 查看chart默认value
如上4.3所示方法进行安装将仅使用此chart的默认配置选项。通常,需要自定义图表以使用首选配置。
1 [root@master01 ~]# helm show values bitnami/mariadb #查看此chart可自定义配置项
2 ……
3 rootUser:
4 ## MariaDB admin password
5 ## ref: https://github.com/bitnami/bitnami-docker-mariadb#setting-the-root-password-on-first-run
6 ##
7 password: ""
8 ……
5.2 传递配置方式
有两种在安装过程中传递配置数据的方式:
--values(或-f):指定带有替代参数及值的YAML文件。可以多次指定,最后一个文件优先级最高。
--set:在命令行上指定替代。
提示:如果同时使用--set和-f,则将-f优先级更高。
5.3 配置文件定义配置项
1 [root@master01 helm]# vi mariadb.yml #创建自定义配置
2 rootUser:
3 password: abcd1234
4
提示:如上设置数据库密码,而不使用默认的随机密码。
5.4 命令行定义配置项
1 [root@master01 helm]# helm install --set rootUser.password=abcd1234 xhy_mariadb bitnami/mariadb
提示:更多命令与yaml对应如下:
命令行 |
yaml |
--set name=value |
name: value |
--set a=b,c=d |
a: b
c: d |
--set outer.inner=value |
outer:
inner: value |
--set name={a, b, c} |
name:
- a
- b
- c |
--set servers[0].port=80 |
servers:
- port: 80 |
--set servers[0].port=80,servers[0].host=example |
servers:
- port: 80
host: example |
--set name=value1\,value2 |
name: "value1,value2" |
--set nodeSelector."kubernetes\.io/role"=master |
nodeSelector:
kubernetes.io/role: master |
六 创建chart
6.1 创建chart命令
1 [root@master01 helm]# helm create test-chart
提示:create会创建一个标准的chart目录结构,可以编辑相应配置从而创建自己的chart。更多的chart开发指南参考:https://helm.sh/docs/topics/charts/。
有关chart的字段及编写可参考:https://www.kubernetes.org.cn/3884.html。
1 [root@master01 helm]# helm lint test-chart/ #验证创建后是否正常
2 [root@master01 helm]# helm package test-chart #将创建的进行打包
3 [root@master01 helm]# helm install test-chart/ ./test-chart/-0.1.0.tgz #安装
4
七 Monocular
7.1 Monocular介绍
Monocular是一个开源软件,基于web UI图形界面管理kubernetes上以Helm Charts形式创建的服务
7.2 Monocular安装
1 [root@master01 ~]# helm repo add monocular https://helm.github.io/monocular #添加repo
2 [root@master01 ~]# kubectl create ns helm
3 [root@master01 ~]# cat > custom-repos.yaml <<EOF
4 sync:
5 repos:
6 - name: stable
7 url: https://kubernetes-charts.storage.googleapis.com
8 schedule: "0 * * * *"
9 successfulJobsHistoryLimit: 1
10 - name: incubator
11 url: https://kubernetes-charts-incubator.storage.googleapis.com
12 schedule: "*/5 * * * *"
13 - name: monocular
14 url: https://helm.github.io/monocular
15 ui:
16 replicaCount: 2
17 service:
18 name: monocular-ui
19 type: NodePort
20 externalPort: 80
21 internalPort: 8080
22 annotations: {}
23 # foo.io/bar: "true"
24 ingress:
25 hosts:
26 - monocular.odocker.com
27 EOF #添加自定义配置:配置默认添加的repo及ingress host
28 [root@master01 ~]# helm install mymonocular monocular/monocular -f custom-repos.yaml -n helm
29
7.3 确认安装
1 [root@master01 ~]# kubectl get pods -n helm -o wide
2 [root@master01 ~]# kubectl get svc -n helm -o wide
3 [root@master01 ~]# kubectl get ingresses -n helm -o wide
4
参考:https://github.com/helm/monocular
八 helm部署WordPress
8.1 查看chart包
1 [root@master01 ~]# helm repo add bitnami https://charts.bitnami.com/bitnami
2 [root@master01 ~]# helm search repo wordpress
3 NAME CHART VERSION APP VERSION DESCRIPTION
4 bitnami/wordpress 9.2.4 5.4.1 Web publishing platform for building blogs and ...
5
8.2 安装WordPress
1 [root@master01 ~]# kubectl create ns wp
2 [root@master01 ~]# vi custom-wordpress.yaml
3 wordpressUsername: admin
4 wordpressPassword: admin12345
5 wordpressBlogName: Xhy Blog!
6 persistence:
7 enabled: true
8 storageClass: "ghsc"
9 accessMode: ReadWriteOnce
10 size: 5Gi
11
12
13 mariadb:
14 db:
15 name: wpdb
16 user: wpuser
17 password: wppass12345
18 rootUser: wpadmin
19 password: wpadminpass12345
20
21
22 master:
23 persistence:
24 enabled: true
25 storageClass: "ghsc"
26 accessModes:
27 - ReadWriteOnce
28 size: 5Gi
29
30
31 service:
32 type: NodePort
33 nodePorts:
34 http: "30005"
35 https: "30006"
36
提示:
默认参考配置参考:https://github.com/bitnami/charts/blob/master/bitnami/wordpress/values.yaml
更多参数设置参考:https://github.com/bitnami/charts/tree/master/bitnami/wordpress
1 [root@master01 ~]# helm install mywp bitnami/wordpress -f custom-wordpress.yaml -n wp
8.3 确认安装
1 [root@master02 ~]# kubectl get pods -n wp -o wide
2 [root@master02 ~]# kubectl get pv -n wp -o wide | grep wp
3 [root@master02 ~]# kubectl get pvc -n wp -o wide
4 [root@master02 ~]# kubectl get svc -n wp -o wide
8.4 访问测试
1 [root@master01 ~]# kubectl get --namespace wp -o jsonpath="{.spec.ports[0].nodePort}" services mywp-wordpress #查看端口
2 30005
3 [root@master01 ~]# kubectl get nodes --namespace wp -o jsonpath="{.items[0].status.addresses[0].address}" #查看node ip
4 172.24.8.71
浏览器访问:http://172.24.8.71:30005或者https://172.24.8.71:30006/
浏览器访问:http://172.24.8.71:30005/admin,进入管理界面。
参考文档:
https://www.hi-linux.com/posts/21466.html
https://helm.sh/docs/intro/using_helm/