处理特定的作业类别

以下是高级设置。大多数极狐GitLab 实例应该添加更多进程来监听所有队列。

极狐GitLab 有两个选项用于创建仅处理特定作业类的 Sidekiq 进程：

路由规则在 SaaS 上使用。它们将应用程序内部的作业定向到管理员配置的队列名称，降低了 Redis 的负载，对于非常大规模的部署很重要。
在启动 Sidekiq 进程时，队列选择器用于在应用程序外部执行作业选择。队列选择器在 SaaS 上使用到 2021 年 9 月，并出于兼容性原因保留。

这两者都使用相同的 worker 匹配查询语法。虽然它们在技术上可以一起使用，但大多数部署应该选择其中之一。

所有极狐GitLab 节点的路由规则必须相同，因为它们是应用程序配置的一部分。队列选择器在极狐GitLab 节点之间可能不同，因为它们只会更改启动的 Sidekiq 进程的参数。

路由规则

引入于 13.12 版本。

默认路由规则值添加于 15.4 版本。

Mailer 作业无法通过路由规则进行路由，并且始终会进入 mailers 队列。使用路由规则时，确保至少有一个进程正在侦听 mailers 队列。通常可以放在 default 队列旁边。

我们建议大多数极狐GitLab 实例，使用路由规则来管理它们的 Sidekiq 队列，其允许管理员根据作业类的属性为作业类组选择单个队列名称。语法是成对的 [query, queue] 有序数组：

该查询是一个 worker 匹配查询。
队列名称必须是有效的 Sidekiq 队列名称。如果队列名称为 nil 或空字符串，则 worker 将路由到由 worker 名称生成的队列（有关详细信息，请参阅可用作业类列表）。队列名称不必与可用作业类列表中的任何现有队列名称相匹配。
为该 worker 选择与其匹配的第一个查询，以后的规则将被忽略。

路由规则迁移

Sidekiq 路由规则更改后，管理员必须注意迁移以避免完全丢失作业，尤其是在作业队列很长的系统中。迁移可以按照 Sidekiq 作业迁移中提到的迁移步骤完成。

详细示例

以下为旨在展示不同可能性的综合示例，不是建议。

编辑 /etc/gitlab/gitlab.rb：

sidekiq['routing_rules'] = [
  # Route all non-CPU-bound workers that are high urgency to `high-urgency` queue
  ['resource_boundary!=cpu&urgency=high', 'high-urgency'],
  # Route all database, gitaly and global search workers that are throttled to `throttled` queue
  ['feature_category=database,gitaly,global_search&urgency=throttled', 'throttled'],
  # Route all workers having contact with outside world to a `network-intenstive` queue
  ['has_external_dependencies=true|feature_category=hooks|tags=network', 'network-intensive'],
  # Route all import workers to the queues generated by the worker name, for
  # example, JiraImportWorker to `jira_import`, SVNWorker to `svn_worker`
  ['feature_category=import', 'import'],
  # Wildcard matching, route the rest to `default` queue
  ['*', 'default']
]

然后可以设置 queue_groups 以匹配这些生成的队列名称。例如：

sidekiq['queue_selector'] = false
sidekiq['queue_groups'] = [
  # Run two high-urgency processes
  'high-urgency',
  'high-urgency',
  # Run one process for throttled, network-intensive, import
  'throttled,network-intensive,import',
  # Run one 'catchall' process on the default and mailers queues
  'default,mailers'
]

保存文件并重新配置极狐GitLab：
```
sudo gitlab-ctl reconfigure
```

队列选择器

queue_selector 选项允许使用 worker 匹配查询，以更通用的方式选择队列组。设置 queue_selector 后，所有 queue_groups 必须遵循上述语法。

使用队列选择器

编辑 /etc/gitlab/gitlab.rb：

sidekiq['enable'] = true
sidekiq['routing_rules'] = [['*', nil]]
sidekiq['queue_selector'] = true
sidekiq['queue_groups'] = [
  # Run all non-CPU-bound queues that are high urgency
  'resource_boundary!=cpu&urgency=high',
  # Run all continuous integration and pages queues that are not high urgency
  'feature_category=continuous_integration,pages&urgency!=high',
  # Run all queues
  '*'
]

保存文件并重新配置极狐GitLab：
```
sudo gitlab-ctl reconfigure
```

Negate 设置

此设置允许您让 Sidekiq 进程在每个队列上工作，除了您列出的队列，一般只有在有多个 Sidekiq 节点的情况下才会用到。在此示例中，我们从 Sidekiq 节点中排除了所有与导入相关的作业。

编辑 /etc/gitlab/gitlab.rb：

sidekiq['routing_rules'] = [['*', nil]]
sidekiq['negate'] = true
sidekiq['queue_selector'] = true
sidekiq['queue_groups'] = [
   "feature_category=importers"
]

保存文件并重新配置极狐GitLab：
```
sudo gitlab-ctl reconfigure
```

从队列选择器迁移到路由规则

我们建议极狐GitLab 部署添加更多监听所有队列的 Sidekiq 进程。对于非常大规模的部署，我们建议使用路由规则，而不是队列选择器。我们在 JihuLab.com 上使用路由规则，因为它有助于降低 Redis 的负载。

从队列选择器迁移到路由规则：

打开 /etc/gitlab/gitlab.rb。
将 sidekiq['queue_selector'] 设置为 false。
获取 sidekiq['queue_groups'] 中的所有队列 selector。
给每个 selector 设置一个 queue_name，格式为 [selector, queue_name]。
将 sidekiq['routing_rules'] 替换为一组 [selector, queue_name] 条目。
在 sidekiq['routing_rules'] 中添加一个通配符匹配项 ['*', 'default'] 作为最后一个条目。这个 catchall 队列必须命名为 default。
将 sidekiq['queue_groups'] 替换为 queue_name。
添加至少一个 default 队列和至少一个 mailers 队列到 sidekiq['queue_groups']。
保存文件并重新配置极狐GitLab：
```
sudo gitlab-ctl reconfigure
```

运行 Rake 任务，迁移现有作业：

sudo gitlab-rake gitlab:sidekiq:migrate_jobs:retry gitlab:sidekiq:migrate_jobs:schedule gitlab:sidekiq:migrate_jobs:queued

在重新配置极狐GitLab 后立即运行 Rake 任务很重要。重新配置极狐GitLab 后，现有作业不会被处理，直到 Rake 任务开始迁移作业。

下面的例子更好地说明了上面的迁移过程：

查看 /etc/gitlab/gitlab.rb 的如下内容：

sidekiq['routing_rules'] = []
sidekiq['queue_selector'] = true
sidekiq['queue_groups'] = [
  'urgency=high',
  'urgency=low',
  'urgency=throttled',
  '*'
]

更新 /etc/gitlab/gitlab.rb 以使用路由规则：

sidekiq['min_concurrency'] = 20
sidekiq['max_concurrency'] = 20

sidekiq['routing_rules'] = [
  ['urgency=high', 'high_urgency'],
  ['urgency=low', 'low_urgency'],
  ['urgency=throttled', 'throttled_urgency'],
  # Wildcard matching, route the rest to `default` queue
  ['*', 'default']
]

sidekiq['queue_selector'] = false
sidekiq['queue_groups'] = [
  'high_urgency',
  'low_urgency',
  'throttled_urgency',
  'default,mailers'
]

保存文件并重新配置极狐GitLab：
```
sudo gitlab-ctl reconfigure
```

运行 Rake 任务以迁移现有作业：

sudo gitlab-rake gitlab:sidekiq:migrate_jobs:retry gitlab:sidekiq:migrate_jobs:schedule gitlab:sidekiq:migrate_jobs:queued

如并发部分中所述，我们建议将 min_concurrency 和 max_concurrency 设置为相同的值。例如，队列组条目中的队列数为 1、min_concurrency 设置为 0、max_concurrency 设置为 20，则生成的并发数设置为 2。在大多数情况下，2 的并发性可能太低，CPU 绑定非常高的任务除外。

Worker 匹配查询

极狐GitLab 提供了一种查询语法来根据其属性匹配 worker。队列路由规则和队列选择器都使用此查询语法。查询包括两个部分：

可以选择的属性。
用于构造查询的运算符。

可用属性

队列匹配查询适用于 worker 属性。我们支持基于 worker 属性子集的查询：

feature_category - 队列所属的极狐GitLab 功能类别。例如，merge 队列属于 source_code_management 类别。
has_external_dependencies - 队列是否连接到外部服务。例如，所有导入器都将此设置为 true。
urgency - 该队列的作业快速运行是多么重要。可以是 high、low 或 throttled。例如，authorized_projects 队列用于刷新用户权限，是 high 紧急的。
worker_name - worker 名称。使用此属性来选择特定的 worker。
name - 从 worker 名称生成的队列名称。使用此属性选择特定队列。因为这是从 worker 名称生成的，所以不会根据其他路由规则的结果而改变。
resource_boundary - 队列被 cpu、memory 或 unknown 绑定。例如，ProjectExportWorker 是内存绑定的，因为它必须在保存数据以供导出之前将数据加载到内存中。
tags - 队列的短期注释。这些预计会在不同版本之间频繁更改，并且可能会被完全删除。

has_external_dependencies 是一个 boolean 属性：只有确切的字符串 true 被认定为 true，其他的都被认定为 false。

tags 是一个集合，这意味着 = 检查相交集，而 != 检查不相交集。例如，tags=a,b 选择具有标签 a、b 或两者兼有的队列。tags!=a,b 选择没有这些标签的队列。

可用的运算符

路由规则和队列选择器支持以下运算符，从最高到最低优先级列出：

| - 逻辑 OR 运算符。例如，query_a|query_b（其中 query_a 和 query_b 是由此处的其他运算符组成的查询）包括匹配任一查询的队列。
& - 逻辑 AND 运算符。例如，query_a&query_b（其中 query_a 和 query_b 是由此处的其他运算符组成的查询）将仅包括与这两个查询匹配的队列。
!= - NOT IN 运算符。例如，feature_category!=issue_tracking 从 issue_tracking 特征类别中排除所有队列。
= - IN 运算符。例如，resource_boundary=cpu 包括所有受 CPU 限制的队列。
, - the concatenate set 运算符。例如，feature_category=continuous_integration,pages 包括来自 continuous_integration 类别或 pages 类别的所有队列。此示例也可以使用 OR 运算符，但允许更简洁，并且优先级更低。

此语法的运算符优先级是固定的：不可能使 AND 具有比 OR 更高的优先级。

与上面的标准队列组语法一样，单个 * 作为整个队列组选择所有队列。

可用的作业类列表

有关现有 Sidekiq 作业类和队列的列表，请检查以下文件：

适用于极狐GitLab 版本的队列