前言

GitOps 的核心不是 Git,而是以声明式系统为基座,以 Git 为单一可信源,通过将应用程序和基础设施代码化(一切皆代码),进行云原生应用程序和基础设施部署管理。更多关于 GitOps 的内容,可以查看另一篇 blog 云原生时代,你还不懂 GitOps?

极狐GitLab Kubernetes Agent 恰巧就是实现 GitOps workflow 的一个特性功能,在 13.x 版本中陆续引入。本文将通过理论加实践的方式对极狐GitLab GitOps workflow 进行剖析,方便大家对其有个全方位的认知。

关于极狐GitLab Kubernetes Agent

极狐GitLab Kubernetes Agent 是一个位于 Kubernetes 集群侧的组件,能够以安全、云原生的方式来实现极狐GitLab 和 Kubernetes 的集成。主要实现的功能有:

更多的功能和特性还在开发过程中,感兴趣的可以查看 Roadmap

本文将重点分析如何使用极狐GitLab Kubernetes Agent 来实现 GitOps workflow。

极狐GitLab Agent GitOps workflow

极狐GitLab Agent GitOps workflow 的示意图如下

jihu-gitops-workflow

上述列出了完成实践所需的组件

最终的目的就是:一旦清单仓库中的清单文件发生了变更,则此变更能够自动同步至集群测

可以将config.yaml文件和部署资源清单文件存放在同一个极狐GitLab Project里面,这是 Project 可以是 Public 的,也可以是 Private的,而且这也是官方推荐方式。当然,也可以用不同的 Project 来分别存储config.yaml文件和部署清单文件,此时,需要注意的是,存放部署清单文件的 Project 必须是 Public 的,而存放config.yaml文件的 Project 则可以是 Public 或 Private 的,具体原因可以查看issue

从上述示意图中看到,要完成整个流程,需要两个重要组件的配合:agentkkas。其中 agentk 代表极狐GitLab Kubernetes Agent,是位于 Kubernetes 集群侧的组件,主要用来和 kas 进行交互。kas 代表极狐GitLab Kubernetes Agent Server,是位于极狐GitLab 侧的组件,主要实现的功能有:

整体的架构示意图如下

kas-arch

从架构图中可以看出,要想实现极狐GitLab GitOps workflow,需要对 agentkkas 进行配置。

极狐GitLab Kubernetes Agent Server 的配置

首先,要在极狐GitLab 侧创建一个与存储 config.yaml 文件的配置仓库相关联的 Rails Agent 记录。这个过程分两步走:**创建 Agent 和生成 Agent Token(后面的步骤会用到)

可以使用 GraphQL 来完成创建工作,关于 GraphQL 的更多内容可以查看极狐GitLab GraphQL API使用。当然最快速的方法就是使用GraphQL Explorer来完成创建工作。

在 GraphQL Explorer 的页面中输入创建 Agent 的语法,然后运行即可。如在左侧输入如下 GraphQL 语法

mutation createAgent {
# agent-name should be the same as specified above in the config.yaml
createClusterAgent(input: { projectPath: "your-configuration-project-path", name: "agent-name-you-specified-in-config.yaml" }) {
    clusterAgent {
    id
    name
    }
    errors
}
}

点击运行按钮之后,在右侧会会出现返回结果,如

{
  "data": {
    "createClusterAgent": {
      "clusterAgent": {
        "id": "gid://gitlab/Clusters::Agent/43",
        "name": "gitops"
      },
      "errors": []
    }
  }
}

整体效果如下:

kas-agent

上述步骤创建了一个名为gitops,且与jihulab/marketing/technical-marketing/devops-demo project相关联的 Agent,Agent 的ID 为gid://gitlab/Clusters::Agent/43。接下来就需要为这个 Agent 创建一个 Agent Token了。

和创建 Agent 一样,利用 GraphQL Explorer 页面,在左侧输入 Agent Token 创建的 GraphQL 语法

mutation createToken {
    clusterAgentTokenCreate(
      input: {
        clusterAgentId: "gid://gitlab/Clusters::Agent/43"
        description: "GitLab Kubernetes Agent Server Demo"
        name: "gitops"
      }
    ) {
      secret # This is the value you need to use on the next step
      token {
        createdAt
        id
      }
      errors
    }
  }

clusterAgentId为创建 Agent 时候的返回值,如gid://gitlab/Clusters::Agent/43。name为指定的 Agent 名称,本文为 gitops。

点击运行之后,在右侧会返回 Agent Token

{
  "data": {
    "clusterAgentTokenCreate": {
      "secret": "Agent-Token",
      "token": {
        "createdAt": "2021-08-17T13:22:31+08:00",
        "id": "gid://gitlab/Clusters::AgentToken/37"
      },
      "errors": []
    }
  }
}

结果中的secret即为 Agent Token。在后续会用到。

紧接着,就需要在 Kubernetes 集群侧安装 Agent 了。

在 Kubernetes 上安装 agent(agentk)

在 Kubernetes 上安装 agent 时,有三个必要参数:

接下来可以用如下命令进行一键式安装

$ docker run --pull=always --rm registry.gitlab.com/gitlab-org/cluster-integration/gitlab-agent/cli:stable generate --agent-token=your-agent-token --kas-address=wss://kas.gitlab.cn --agent-version stable --namespace gitlab-kubernetes-agent | kubectl apply -f -

将上述的--agent-token指定为前面步骤获取的值,同时用--namespace指定 agent 安装的 namespace,然后执行上述命令

$ docker run --pull=always --rm registry.gitlab.com/gitlab-org/cluster-integration/gitlab-agent/cli:stable generate --agent-token=your-agent-token  --kas-address=wss://kas.gitlab.cn --agent-version stable --namespace gitlab-kubernetes-agent | kubectl apply -f -
stable: Pulling from gitlab-org/cluster-integration/gitlab-agent/cli
Digest: sha256:a34079259440dcb627947e4df26fe5462829a3d6622d031ea0129e5953b70281
Status: Image is up to date for registry.gitlab.com/gitlab-org/cluster-integration/gitlab-agent/cli:stable
namespace/gitlab-kubernetes-agent created
serviceaccount/gitlab-agent created
clusterrole.rbac.authorization.k8s.io/cilium-alert-read created
clusterrole.rbac.authorization.k8s.io/gitlab-agent-gitops-read-all created
clusterrole.rbac.authorization.k8s.io/gitlab-agent-gitops-write-all created
clusterrolebinding.rbac.authorization.k8s.io/cilium-alert-read created
clusterrolebinding.rbac.authorization.k8s.io/gitlab-agent-gitops-read-all created
clusterrolebinding.rbac.authorization.k8s.io/gitlab-agent-gitops-write-all created
secret/gitlab-agent-token-8ccgb67gb2 created
deployment.apps/gitlab-agent created

安装完毕,可在gitlab-kubernetes-agent namespace 下查看 agent pod

$ kubectl -n gitlab-kubernetes-agent get pods
NAME                            READY   STATUS    RESTARTS   AGE
gitlab-agent-866cc7fb95-5dgc2   1/1     Running   0          42s

查看 pods 的 log,如果成功的话会看到下面的内容

{"level":"info","time":"2021-08-17T05:31:44.009Z","msg":"Cluster successfully synced","mod_name":"gitops","project_id":"your-configruation-project"}

说明 Agent 在 Kubernetes 集群侧安装成功,且 agent 已和 config project 同步成功。接下来就可以进行 GitOps workflow 实践了。

极狐GitLab GitOps workflow 实践

实践前提条件

根据上面的理论介绍,极狐GitLab GitOps workflow 需要有存放 config.yaml 文件和部署清单文件的 Project。两个可以用不同的 Project,也可以用同一个 Project,本次实践是将全部文件存放在同一个极狐GitLab Project 下面。目录结构如下

├── .gitlab
│   └── agents
│       └── gitops
│           └── config.yaml
├── README.md
└── deployment
    └── deployment.yaml

其中 .gitlab/agents/gitops/config.yaml 文件存放的路径,gitops 是创建的 agent 名称,config.yaml 文件的内容如下

gitops:
  manifest_projects:
  - id: "your-jihu-GitLab-project-which-you-want-to-be-listened-by-agent"
    paths:
    - glob: '/**/*.yaml'
observability:
  logging:
    level: debug

其中 id 表示存放部署清单文件的 project 路径,glob 表示 agent 要监听的文件,可以监听所有的文件,也可以监听某个目录下的文件。具体的语法可以在这儿查看。

deployment 目录下存放的则是需要部署的清单文件,本文以部署 nginx 来做示范,内容如下

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
  namespace: gitlab-kubernetes-agent
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 1
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.14.2
        ports:
        - containerPort: 80

上述内容会在 gitlab-kubernetes-agent namesace 下面部署一个名为 nginx-deploymentdeployment,且 pod 副本数为 1

$ kubectl -n gitlab-kubernetes-agent get deploy,pods
NAME                               READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/gitlab-agent       1/1     1            1           4h3m
deployment.apps/nginx-deployment   1/1     1            1           4h

NAME                                    READY   STATUS    RESTARTS   AGE
pod/gitlab-agent-866cc7fb95-5dgc2       1/1     Running   0          4h3m
pod/nginx-deployment-66b6c48dd5-mzwdb   1/1     Running   0          4h

接下来我们将 deployment.yaml 文件中的 replicas 修改为 2,来触发极狐GitLab GitOps workflow。观察 agentlog 可以看到如下内容

$ kubectl -n gitlab-kubernetes-agent logs -f gitlab-agent-866cc7fb95-5dgc2
{"level":"info","time":"2021-08-17T09:34:58.406Z","msg":"Applying resource Deployment/nginx-deployment in cluster: https://10.96.0.1:443, namespace: gitlab-kubernetes-agent","mod_name":"gitops","project_id":"jihulab/marketing/technical-marketing/devops-demo"}
{"level":"info","time":"2021-08-17T09:34:58.502Z","msg":"Synced","mod_name":"gitops","project_id":"jihulab/marketing/technical-marketing/devops-demo","resource_key":"apps/Deployment/gitlab-kubernetes-agent/nginx-deployment","sync_result":"deployment.apps/nginx-deployment configured"}

同时查看 nginx-deploymentpod 数量变化

$ kubectl -n gitlab-kubernetes-agent get pods -w
NAME                                READY   STATUS    RESTARTS   AGE
gitlab-agent-866cc7fb95-5dgc2       1/1     Running   0          4h5m
nginx-deployment-66b6c48dd5-mzwdb   1/1     Running   0          4h2m
nginx-deployment-66b6c48dd5-hpwqd   0/1     Pending   0          0s
nginx-deployment-66b6c48dd5-hpwqd   0/1     Pending   0          0s
nginx-deployment-66b6c48dd5-hpwqd   0/1     ContainerCreating   0          0s
nginx-deployment-66b6c48dd5-hpwqd   1/1     Running             0          2s

可以看到有新的 pod 被创建,当前 nginx-deployment 下的 pod 副本数是 2,这和部署清单文件里面描述的是一致的。也再次证明:当部署清单文件发生任何变更的时候,变更会被自动同步至 Kubernetes 集群侧

30天免费试用极狐GitLab旗舰版

极狐GitLab不仅是源代码管理或CI/CD工具,它是一个覆盖完整软件开发生命周期和DevOps的开放式一体化平台。

免费试用
Git 为 Software Freedom Conservancy 的注册商标,GitLab 为 GitLab B.V.的注册商标,我们已获授权使用“极狐GitLab”。
Copyright © 2022 极狐信息技术(湖北)有限公司, 鄂ICP备2021008419号-1

免费试用极狐GitLab 30天

有疑问? 联系我们

Gitlab x icon svg