• 要求
• 设计选择
• 配置
• 安装命令行选项
• Chart 配置示例
  • resources
  • extraEnv
  • extraEnvFrom
  • extraVolumes
  • extraVolumeMounts
  • image.pullSecrets
  • tolerations
  • annotations
• 外部服务
  • Redis
  • PostgreSQL
  • Gitaly
• Metrics
• Chart 范围的默认值
• Per-pod 设置
  • queues
  • negateQueues
  • pod 条目示例
• 配置 networkpolicy
  • Network Policy 示例
• 配置 KEDA

使用 GitLab-Sidekiq chart

sidekiq 子 chart 提供了 Sidekiq workers 的可配置部署，明确设计用于跨多个具有单独可扩展性和配置的 Deployment 提供队列分离。

尽管这个 chart 提供了一个默认的 pods: 声明，如果你提供一个空的定义，将没有 workers。

要求

此 chart 取决于对 Redis、PostgreSQL 和 Gitaly 服务的访问，要么作为完整 GitLab chart 的一部分，要么作为可从该 chart 部署到的 Kubernetes 集群访问的外部服务提供。

设计选择

此 chart 创建了多个 Deployment 和关联的 ConfigMap。决定使用 ConfigMap 行为而不是使用 environment 属性或容器的 command 的附加参数会更清晰，以避免对命令长度的任何担忧。这种选择导致产生大量的 ConfigMap，但提供了每个 pod 应该做什么的非常清晰的定义。

配置

sidekiq chart 配置为三部分：chart 范围的外部服务、chart 范围的默认值 和 每个 Pod 的定义。

安装命令行选项

下表包含可以使用 --set 标志提供给 helm install 命令的所有可能的 chart 配置：

Chart 配置示例

resources

resources 允许您配置 Sidekiq pod 可以消耗的最小和最大资源量（内存和 CPU）。

Sidekiq pod 工作负载在不同部署之间差异很大。一般来说，据了解，每个 Sidekiq 进程大约消耗 1 vCPU 和 2 GB 内存。 垂直伸缩通常应与 vCPU:Memory 的 1:2 比率保持一致。

以下是resources的使用示例：

resources:
  limits:
    memory: 5G
  requests:
    memory: 2G
    cpu: 900m

extraEnv

extraEnv 允许您在 Pod 的所有容器中暴露额外的环境变量。

extraEnv 示例如下：

extraEnv:
  SOME_KEY: some_value
  SOME_OTHER_KEY: some_other_value

当容器启动时，您可以确认环境变量是否暴露：

env | grep SOME
SOME_KEY=some_value
SOME_OTHER_KEY=some_other_value

您还可以为特定的 pod 设置 extraEnv：

extraEnv:
  SOME_KEY: some_value
  SOME_OTHER_KEY: some_other_value
pods:
  - name: mailers
    queues: mailers
    extraEnv:
      SOME_POD_KEY: some_pod_value
  - name: catchall
    negateQueues: mailers

这将仅为 mailers pod 中的应用程序容器设置 SOME_POD_KEY。 Pod 级别的 extraEnv 设置不会添加到 init 容器。

extraEnvFrom

extraEnvFrom 允许您从 pod 中的所有容器中的其它数据源，暴露其它环境变量。 每个 Sidekiq pod 都可以覆盖后续变量。

下面是一个使用 extraEnvFrom 的示例：

extraEnvFrom:
  MY_NODE_NAME:
    fieldRef:
      fieldPath: spec.nodeName
  MY_CPU_REQUEST:
    resourceFieldRef:
      containerName: test-container
      resource: requests.cpu
  SECRET_THING:
    secretKeyRef:
      name: special-secret
      key: special_token
      # optional: boolean
pods:
  - name: immediate
    extraEnvFrom:
      CONFIG_STRING:
        configMapKeyRef:
          name: useful-config
          key: some-string
          # optional: boolean

extraVolumes

extraVolumes 允许您在 chart 范围内配置 extra volumes。

extraVolumes 配置示例如下：

extraVolumes: |
  - name: example-volume
    persistentVolumeClaim:
      claimName: example-pvc

extraVolumeMounts

extraVolumeMounts 允许您在 chart 范围内配置所有容器上的 extra volumeMounts。

extraVolumeMounts 配置示例如下：

extraVolumeMounts: |
  - name: example-volume-mount
    mountPath: /etc/example

image.pullSecrets

pullSecrets 允许您对私有仓库进行身份验证，以拉取 pod 的镜像。

有关私有仓库及其身份验证方法的其它详细信息，请参见 Kubernetes 文档。

下面是一个使用 pullSecrets 的例子：

image:
  repository: my.sidekiq.repository
  pullPolicy: Always
  pullSecrets:
  - name: my-secret-name
  - name: my-secondary-secret-name

tolerations

tolerations 允许您调度 Pod 到受污染的工作节点上。

下面是一个使用 tolerations 的例子：

tolerations:
- key: "node_label"
  operator: "Equal"
  value: "true"
  effect: "NoSchedule"
- key: "node_label"
  operator: "Equal"
  value: "true"
  effect: "NoExecute"

annotations

annotations 允许您向 registry pod 添加 annotation。

下面是 annotations 的一个使用示例：

annotations:
  kubernetes.io/example-annotation: annotation-value

外部服务

此 chart 应附加到与 Webservice chart 相同的 Redis、PostgreSQL 和 Gitaly 实例。外部服务的值将填入到所有 Sidekiq pod 共享的 ConfigMap 中。

Redis

redis:
  host: rank-racoon-redis
  port: 6379
  sentinels:
    - host: sentinel1.example.com
      port: 26379
  password:
    secret: gitlab-redis
    key: redis-password

PostgreSQL

psql:
  host: rank-racoon-psql
  serviceName: pgbouncer
  port: 5432
  database: gitlabhq_production
  username: gitlab
  preparedStatements: false
  password:
    secret: gitlab-postgres
    key: psql-password

Gitaly

gitaly:
  internal:
    names:
      - default
      - default2
  external:
    - name: node1
      hostname: node1.example.com
      port: 8079
  authToken:
    secret: gitaly-secret
    key: token

Metrics

默认情况下，每个 pod 都启用了 Prometheus metrics exporter。只有在管理中心启用 GitLab Prometheus 指标时，指标才可用。exporter 在端口 3807 上公开了一个 /metrics 端点。启用指标后，会添加 annottation 到每个 pod，允许 Prometheus 服务器发现和抓取公开的指标。

Chart 范围的默认值

如果值不是基于每个 pod 呈现的，则以下值将在 chart 范围内使用。

Per-pod 设置

pods 声明提供了 worker pod 的所有属性的声明。这些将被模板化为 Deployment，它们的 Sidekiq 实例具有单独的ConfigMap。

queues

queues 值是一个字符串，包含要处理的以逗号分隔的队列列表。 默认情况下未设置，这意味着将处理所有队列。

字符串不应包含空格：merge,post_receive,process_commit 有效，但merge, post_receive, process_commit 无效。

任何将 job 添加到其中但没有没有至少一个 pod 的一部分的队列将不会被处理。

有关所有队列的完整列表，请参阅以下源文件：

1. app/workers/all_queues.yml
2. ee/app/workers/all_queues.yml

negateQueues

negateQueues 与 queues 的格式相同，但它表示要忽略而不是处理的队列。

字符串不应包含空格：merge,post_receive,process_commit 有效，但merge, post_receive, process_commit 无效。

如果您有一个 pod 处理重要队列，而另一个 pod 处理其它队列，这将非常有用：它们可以使用相同的队列列表，一个在 queues 中，另一个在 negateQueues 中。

pod 条目示例

pods:
  - name: immediate
    concurrency: 10
    minReplicas: 2  # defaults to inherited value
    maxReplicas: 10 # defaults to inherited value
    maxUnavailable: 5 # defaults to inherited value
    queues: merge,post_receive,process_commit
    extraVolumeMounts: |
      - name: example-volume-mount
        mountPath: /etc/example
    extraVolumes: |
      - name: example-volume
        persistentVolumeClaim:
          claimName: example-pvc
    resources:
      limits:
        cpu: 800m
        memory: 2Gi
    hpa:
      cpu:
        targetType: Value
        targetAverageValue: 350m

配置 networkpolicy

此部分控制 registry NetworkPolicy。 该设置可选，用于限制 registry 的 egress and Ingress 到特定端点。

Network Policy 示例

Sidekiq service 仅需要 Prometheus exporter的 Ingress 连接（如果启用），并且通常需要到各个地方的 Egress 连接。 此示例添加以下网络策略：

• 所有来自 TCP 10.0.0.0/8 端口 3807 网络的 Ingress 请求都允许用于指标导出
• DNS 允许在 UDP 10.0.0.0/8 端口 53 上对网络的所有 Egress 请求
• PostgreSQL 允许在 TCP 10.0.0.0/8 端口 5432 上向网络发出的所有 Egress 请求
• Redis 允许通过 TCP 10.0.0.0/8 端口 6379 向网络发出所有 Egress 请求
• 其他对 10.0.0.0/8 本地网络的 Egress 请求受到限制
• 允许在 10.0.0.0/8 之外的出口请求

请注意，提供的示例仅为示例，可能并不完整。

请注意，对于外部对象存储 上的镜像，Sidekiq 服务需要与公共 Internet 的出站连接

networkpolicy:
  enabled: true
  ingress:
    enabled: true
    rules:
      - from:
        - ipBlock:
            cidr: 10.0.0.0/8
        ports:
        - port: 3807
  egress:
    enabled: true
    rules:
      - to:
        - ipBlock:
            cidr: 10.0.0.0/8
        ports:
        - port: 53
          protocol: UDP
      - to:
        - ipBlock:
            cidr: 10.0.0.0/8
        ports:
        - port: 5432
          protocol: TCP
      - to:
        - ipBlock:
            cidr: 10.0.0.0/8
        ports:
        - port: 6379
          protocol: TCP
      - to:
        - ipBlock:
            cidr: 0.0.0.0/0
            except:
            - 10.0.0.0/8

配置 KEDA

keda 部分允许安装 KEDA ScaledObjects，而不是常规的 HorizontalPodAutoscalers。 此配置是可选的，可以在需要根据自定义或外部指标进行自动缩放时使用。

大多数设置默认为 hpa 部分中适用的值。

如果满足以下条件，则会根据 hpa 部分中设置的 CPU 和内存阈值自动添加 CPU 和内存触发器：

• 未设置 triggers。
• 相应的 request.cpu.request 或 request.memory.request 也设置为非零值。

如果未设置触发器，则不会创建 ScaledObject。

有关这些设置的更多详细信息，请参阅 KEDA 文档。