在阿里云kubernetes上部署Jenkins Master

了哥-duff 2018-08-03 20:16:47 浏览249 评论0

• nginx
• 高可用
• 配置
• 集群
• 容器
• 控制台
• metadata
• 存储
• jenkins
• kubernetes

摘要： 如何在kubernetes上部署jenkins master

问题

Jenkins是很多公司开发中CI/CD用到的开源工具，但是开源里没有针对其提供高可用的方案，同时如果给每个Jenkins服务都分配一台机器，资源将比较浪费。另外在一个问题是大型一点的公司，为了能消除团队相互间的干扰，很可能是每个开发团队有自己的Jenkins服务器，，这又引入新的问题，将如何同时管理好这么多的Jenkins服务机器/集群，如果出错又该如何回复呢等等？

本文将通过容器+分布式存储的方式来构建容易维护的Jenkins集群，但是受制于Jenkins的实现机制，一个集群只能部署一个master实例，有Kubernetes的自动恢复容器的机制来保证高可用，后续再介绍如何使用容器的方式运行多个Jenkins Slave

架构以及部署模型

• 构建一个NAS文件系统，用于存储Jekinks的配置（系统配置，以及作业配置），通过NAS的高可用性来提供Jekinks集群的可用性，当实例意外消亡时，数据依然保留并可以用作恢复。
• 以Kubernetes的deployment的方式来部署Jenkins的容器(确保只能有一个实例)，可以自动在实例意外消亡时被恢复。
• 通过Ingress的方式来暴露Jenkins服务给客户使用

部署实践

创建NAS

• 创建一个和K8S在同一个region的文件系统
  
  
• 创建一个挂载点，选在与K8S相同的VPC，这个务必一样，因为不能垮VPC调用NAS，权限组没有特殊，使用默认的就可
  
  
• 获得挂载点对应的地址
  
  

创建PV/PVC

• 通过阿里云的Kubernetes容器服务控制台，创建对应的存储卷(PV)

这里挂载点的域名就是之前配置后得到的挂载点地址

• 通过阿里云的Kubernetes容器服务控制台，创建对应的存储卷申明(PVC)，这里关联前面的PV就可

这里定义的PVC的名字为：jenkins，后面部署容器需要用到

创建Jenkins对应的Namespace, Deployment, Service, Ingress

• 创建一个独立的Namespace，这个通常用来隔离不同团队的使用空间以及相关的约束，这里只是简单做了一个创建kube-ops

apiVersion: v1kind: Namespacemetadata:  name: kube-ops

• 创建对应的权限管理serviceAcount, role, roleBinding

apiVersion: v1kind: ServiceAccountmetadata:  name: jenkins  namespace: kube-ops---apiVersion: rbac.authorization.k8s.io/v1beta1kind: Rolemetadata:  name: jenkins  namespace: kube-opsrules:  - apiGroups: [""]    resources: ["pods"]    verbs: ["create","delete","get","list","patch","update","watch"]  - apiGroups: [""]    resources: ["pods/exec"]    verbs: ["create","delete","get","list","patch","update","watch"]  - apiGroups: [""]    resources: ["pods/log"]    verbs: ["get","list","watch"]  - apiGroups: [""]    resources: ["secrets"]    verbs: ["get"]---apiVersion: rbac.authorization.k8s.io/v1beta1kind: RoleBindingmetadata:  name: jenkins  namespace: kube-opsroleRef:  apiGroup: rbac.authorization.k8s.io  kind: Role  name: jenkinssubjects:  - kind: ServiceAccount    name: jenkins    namespace: kube-ops

• 创建对应的deployment和service

---apiVersion: v1kind: Deploymentmetadata:  name: jenkins  namespace:  kube-opsspec:  template:    metadata:      labels:        app: jenkins    spec:      terminationGracePeriodSeconds: 10      containers:      - name: jenkins        image: jenkins:latest        imagePullPolicy: IfNotPresent        ports:        - containerPort: 8080          name: web          protocol: TCP        - containerPort: 50000          name: agent          protocol: TCP        resources:          limits:            cpu: 4000m            memory: 4Gi          requests:            cpu: 2000m            memory: 4Gi        livenessProbe:          httpGet:            path: /login            port: 8080          initialDelaySeconds: 90          timeoutSeconds: 5          failureThreshold: 12        readinessProbe:          httpGet:            path: /login            port: 8080          initialDelaySeconds: 90          timeoutSeconds: 5          failureThreshold: 12        volumeMounts:        - name: jenkinshome          subPath: jenkins          mountPath: /var/jenkins_home        env:        - name: LIMITS_MEMORY          valueFrom:            resourceFieldRef:              resource: limits.memory              divisor: 1Mi        - name: JAVA_OPTS          value: -Xmx$(LIMITS_MEMORY)m -XshowSettings:vm -Dhudson.slaves.NodeProvisioner.initialDelay=0 -Dhudson.slaves.NodeProvisioner.MARGIN=50 -Dhudson.slaves.NodeProvisioner.MARGIN0=0.85 -Duser.timezone=Asia/Shanghai      securityContext:        fsGroup: 1000      volumes:      - name: jenkinshome        persistentVolumeClaim:          claimName: jenkins---apiVersion: v1kind: Servicemetadata:  name: jenkins  namespace:  kube-ops  labels:    app: jenkinsspec:  selector:    app: jenkins  ports:  - name: web    port: 8080    targetPort: web  - name: agent    port: 50000    targetPort: agent

• 部署Ingress

apiVersion: extensions/v1beta1kind: Ingressmetadata:  name: jenkins-ingress  namespace: kube-ops  annotations:    kubernetes.io/ingress.class: "nginx"    nginx.ingress.kubernetes.io/affinity: cookie    nginx.ingress.kubernetes.io/session-cookie-hash: sha1    nginx.ingress.kubernetes.io/session-cookie-name: route    spec:  rules:  - host: testjenkins.com    http:      paths:      - backend:          serviceName: jenkins          servicePort: 8080

• 访问对应的服务

在客户端主机的配置testjenkins.com和对应的Ingress的SLB的IP的映射，然后通过浏览器访问testjenkins.com:就可

“填坑”小记

• 对于服务开在SLB 80端口需要根据中国的监管要求，有域名认证才可以，不然会被警告和屏蔽。测试可以在Ingress SLB配置多一个非80的端口映射就可
• 新版本的Jenkins默认开了安全的跨域保护，访问的时候会出现No valid crumb问题（参考：https://issues.jenkins-ci.org/browse/JENKINS-42200 ）,解决办法是在Jenkins的安全配置里设置(系统管理->Configure Global Security)激活代理兼容：

参考

• 阿里云Kubernetes容器服务使用存储帮助说明 (https://help.aliyun.com/document_detail/63956.html?spm=a2c4g.11186623.6.637.8X8CFU)
• Kubernetes如何选择存储以及什么方式使用存储 (https://yq.aliyun.com/articles/621108?spm=a2c4e.11153959.0.0.6d39d55aoh121a)
• Ingress配置session stick(https://kubernetes.github.io/ingress-nginx/examples/affinity/cookie/README/)