• Repository 完整性
  • 检查项目代码仓库
• 仓库引用的校验和
  • 检查所有 GitLab 仓库
  • 检查特定的 GitLab 仓库
• 上传文件完整性
• LDAP 检查
• 验证数据库值是否可以使用当前 secrets 进行解密
  • 详细模式
• 故障排查
  • Dangling 对象
  • 删除对丢失的远程上传的引用
  • 删除对缺失产物的引用
  • 删除对缺失 LFS 对象的引用
  • 更新 dangling 对象存储引用

完整性检查 Rake 任务 (BASIC SELF)

极狐GitLab 提供了 Rake 任务来检查各种组件的完整性。

Repository 完整性

尽管 Git 非常有弹性并试图防止数据完整性问题，但有时也会出现问题。以下 Rake 任务旨在帮助 GitLab 管理员诊断问题存储库，以便修复它们。

有 3 件事要检查以确定完整性。

1. Git 仓库文件系统检查（git fsck）。此步骤验证仓库中对象的连通性和有效性。
2. 检查仓库目录中的 config.lock。
3. 检查 refs/heads 中是否有任何分支/引用锁定文件。

单独存在 config.lock 或引用锁并不一定表示存在问题。 当 Git 和 GitLab 对存储库执行操作时，通常会创建和删除锁定文件。它们用于防止数据完整性问题。但是，如果 Git 操作中断，这些锁可能无法正确清除。

以下症状可能表明仓库完整性存在问题。如果遇到这些症状，您可以使用下面描述的 Rake 任务来准确确定导致问题的仓库。

• 尝试推送代码时收到错误 - remote: error: cannot lock ref
• 查看 GitLab 仪表盘或访问特定项目时出现 500 错误。

检查项目代码仓库

此任务循环遍历项目代码仓库并运行前面描述的完整性检查。如果项目使用池仓库，也将被检查。其它类型的 Git 存储库不检查。

• Linux 软件包安装：

  sudo gitlab-rake gitlab:git:fsck
  

• 自编译安装：

  sudo -u git -H bundle exec rake gitlab:git:fsck RAILS_ENV=production
  

仓库引用的校验和

通过对每个仓库的所有引用进行校验和，可以将一个 Git 仓库与另一个进行比较。如果两个仓库具有相同的引用，并且两个仓库都通过了完整性检查，那么我们可以确信两个仓库是相同的。

例如，可用于将仓库的备份与源仓库进行比较。

检查所有 GitLab 仓库

此任务遍历 GitLab 服务器上的所有存储库，并以 <PROJECT ID>,<CHECKSUM> 格式输出校验和。

• 如果仓库不存在，项目 ID 将有一个空白校验和。
• 如果仓库存在但为空，则输出校验和为 0000000000000000000000000000000000000000。

• 不存在的项目被跳过。

• Linux 软件包安装：

  sudo gitlab-rake gitlab:git:checksum_projects
  

• 自编译安装：

  sudo -u git -H bundle exec rake gitlab:git:checksum_projects RAILS_ENV=production
  

例如，如果：

• ID#2 的项目不存在，它将被跳过。
• ID#4 的项目没有仓库，其校验和将为空。
• ID#5 的项目有一个空的仓库，它的校验和将为 0000000000000000000000000000000000000000。

输出将如下所示：

1,cfa3f06ba235c13df0bb28e079bcea62c5848af2
3,3f3fb58a8106230e3a6c6b48adc2712fb3b6ef87
4,
5,0000000000000000000000000000000000000000
6,6c6b48adc2712fb3b6ef87cfa3f06ba235c13df0

检查特定的 GitLab 仓库

或者，可以通过使用逗号分隔的整数列表，设置环境变量 CHECKSUM_PROJECT_IDS 来对特定项目 ID 进行校验和，例如：

CHECKSUM_PROJECT_IDS="1,3" sudo gitlab-rake gitlab:git:checksum_projects

上传文件完整性

用户可以将各种类型的文件上传到 GitLab 安装。 这些完整性检查可以检测丢失的文件。此外，对于本地存储的文件，上传时会生成校验和并将其存储在数据库中，这些检查会根据当前文件验证它们。

目前，以下类型的文件支持完整性检查：

• CI 产物
• LFS 对象

• 用户上传文件

• Linux 软件包安装：

  sudo gitlab-rake gitlab:artifacts:check
  sudo gitlab-rake gitlab:ci_secure_files:check
  sudo gitlab-rake gitlab:lfs:check
  sudo gitlab-rake gitlab:uploads:check
  

• 自编译安装：

  sudo -u git -H bundle exec rake gitlab:artifacts:check RAILS_ENV=production
  sudo -u git -H bundle exec rake gitlab:ci_secure_files:check RAILS_ENV=production
  sudo -u git -H bundle exec rake gitlab:lfs:check RAILS_ENV=production
  sudo -u git -H bundle exec rake gitlab:uploads:check RAILS_ENV=production
  

这些任务还接受一些可用于覆盖某些值的环境变量：

sudo gitlab-rake gitlab:artifacts:check BATCH=100 ID_FROM=50 ID_TO=250
sudo gitlab-rake gitlab:lfs:check BATCH=100 ID_FROM=50 ID_TO=250
sudo gitlab-rake gitlab:uploads:check BATCH=100 ID_FROM=50 ID_TO=250

示例输出：

$ sudo gitlab-rake gitlab:uploads:check
Checking integrity of Uploads
- 1..1350: Failures: 0
- 1351..2743: Failures: 0
- 2745..4349: Failures: 2
- 4357..5762: Failures: 1
- 5764..7140: Failures: 2
- 7142..8651: Failures: 0
- 8653..10134: Failures: 0
- 10135..11773: Failures: 0
- 11777..13315: Failures: 0
Done!

示例详细输出：

$ sudo gitlab-rake gitlab:uploads:check VERBOSE=1
Checking integrity of Uploads
- 1..1350: Failures: 0
- 1351..2743: Failures: 0
- 2745..4349: Failures: 2
  - Upload: 3573: #<Errno::ENOENT: No such file or directory @ rb_sysopen - /opt/gitlab/embedded/service/gitlab-rails/public/uploads/user-foo/project-bar/7a77cc52947bfe188adeff42f890bb77/image.png>
  - Upload: 3580: #<Errno::ENOENT: No such file or directory @ rb_sysopen - /opt/gitlab/embedded/service/gitlab-rails/public/uploads/user-foo/project-bar/2840ba1ba3b2ecfa3478a7b161375f8a/pug.png>
- 4357..5762: Failures: 1
  - Upload: 4636: #<Google::Apis::ServerError: Server error>
- 5764..7140: Failures: 2
  - Upload: 5812: #<NoMethodError: undefined method `hashed_storage?' for nil:NilClass>
  - Upload: 5837: #<NoMethodError: undefined method `hashed_storage?' for nil:NilClass>
- 7142..8651: Failures: 0
- 8653..10134: Failures: 0
- 10135..11773: Failures: 0
- 11777..13315: Failures: 0
Done!

LDAP 检查

LDAP 检查 Rake 任务测试绑定 DN 和密码凭据（如果已配置）并列出 LDAP 用户示例。此任务也作为 gitlab:check 任务的一部分执行，但可以独立运行。有关详细信息，请参阅 LDAP Rake 任务 - LDAP 检查。

验证数据库值是否可以使用当前 secrets 进行解密

该任务遍历数据库中所有可能的加密值，验证它们是否可以使用当前的 secrets 文件（gitlab-secrets.json）解密。

尚未实施自动解决方案。

这可能需要很长时间，具体取决于数据库的大小，因为它会检查所有表中的所有行。

• Linux 软件包安装：

  sudo gitlab-rake gitlab:doctor:secrets
  

• 自编译安装：

  bundle exec rake gitlab:doctor:secrets RAILS_ENV=production
  

示例输出

I, [2020-06-11T17:17:54.951815 #27148]  INFO -- : Checking encrypted values in the database
I, [2020-06-11T17:18:12.677708 #27148]  INFO -- : - ApplicationSetting failures: 0
I, [2020-06-11T17:18:12.823692 #27148]  INFO -- : - User failures: 0
[...] other models possibly containing encrypted data
I, [2020-06-11T17:18:14.938335 #27148]  INFO -- : - Group failures: 1
I, [2020-06-11T17:18:15.559162 #27148]  INFO -- : - Operations::FeatureFlagsClient failures: 0
I, [2020-06-11T17:18:15.575533 #27148]  INFO -- : - ScimOauthAccessToken failures: 0
I, [2020-06-11T17:18:15.575678 #27148]  INFO -- : Total: 1 row(s) affected
I, [2020-06-11T17:18:15.575711 #27148]  INFO -- : Done!

详细模式

要获取有关哪些行和列无法解密的更多详细信息，您可以传递一个 VERBOSE 环境变量：

• Linux 软件包安装：

  sudo gitlab-rake gitlab:doctor:secrets VERBOSE=1
  

• 自编译安装：

  bundle exec rake gitlab:doctor:secrets RAILS_ENV=production VERBOSE=1
  

示例详细输出

I, [2020-06-11T17:17:54.951815 #27148]  INFO -- : Checking encrypted values in the database
I, [2020-06-11T17:18:12.677708 #27148]  INFO -- : - ApplicationSetting failures: 0
I, [2020-06-11T17:18:12.823692 #27148]  INFO -- : - User failures: 0
[...] other models possibly containing encrypted data
D, [2020-06-11T17:19:53.224344 #27351] DEBUG -- : > Something went wrong for Group[10].runners_token: Validation failed: Route can't be blank
I, [2020-06-11T17:19:53.225178 #27351]  INFO -- : - Group failures: 1
D, [2020-06-11T17:19:53.225267 #27351] DEBUG -- :   - Group[10]: runners_token
I, [2020-06-11T17:18:15.559162 #27148]  INFO -- : - Operations::FeatureFlagsClient failures: 0
I, [2020-06-11T17:18:15.575533 #27148]  INFO -- : - ScimOauthAccessToken failures: 0
I, [2020-06-11T17:18:15.575678 #27148]  INFO -- : Total: 1 row(s) affected
I, [2020-06-11T17:18:15.575711 #27148]  INFO -- : Done!

故障排查

以下是使用上面记录的 Rake 任务可能发现的问题的解决方案。

Dangling 对象

gitlab-rake gitlab:git:fsck 任务可以找到 dangling 对象，例如：

dangling blob a12...
dangling commit b34...
dangling tag c56...
dangling tree d78...

如果问题仍然存在，请尝试通过 Rails 控制台 触发垃圾回收：

p = Project.find_by_path("project-name")
Repositories::HousekeepingService.new(p, :gc).execute

如果 dangling 对象小于 2 周的默认宽限期，并且您不想等到它们自动过期，请运行：

Repositories::HousekeepingService.new(p, :prune).execute

删除对丢失的远程上传的引用

gitlab-rake gitlab:uploads:check VERBOSE=1 检测不存在的远程对象，因为它们被外部删除，但它们的引用仍然存在于 GitLab 数据库中。

带有错误消息的示例输出：

$ sudo gitlab-rake gitlab:uploads:check VERBOSE=1
Checking integrity of Uploads
- 100..434: Failures: 2
- Upload: 100: Remote object does not exist
- Upload: 101: Remote object does not exist
Done!

要删除这些对外部删除的远程上传的引用，请打开 GitLab Rails 控制台 并运行：

uploads_deleted=0
Upload.find_each do |upload|
  next if upload.retrieve_uploader.file.exists?
  uploads_deleted=uploads_deleted + 1
  p upload                            ### allow verification before destroy
  # p upload.destroy!                 ### uncomment to actually destroy
end
p "#{uploads_deleted} remote objects were destroyed."

删除对缺失产物的引用

gitlab-rake gitlab:artifacts:check VERBOSE=1 检测产物（或 job.log 文件）：

• 在极狐GitLab 之外被删除。
• 在极狐GitLab 数据库中仍有引用

当检测到这种情况时，Rake 任务会显示一条错误消息。例如：

Checking integrity of Job artifacts
- 1..15: Failures: 2
  - Job artifact: 9: #<Errno::ENOENT: No such file or directory @ rb_sysopen - /var/opt/gitlab/gitlab-rails/shared/artifacts/4b/22/4b227777d4dd1fc61c6f884f48641d02b4d121d3fd328cb08b5531fcacdabf8a/2022_06_30/8/9/job.log>
  - Job artifact: 15: Remote object does not exist
Done!

要删除这些对丢失的本地和/或远端产物（job.log 文件）的引用：

1. 打开 Rails 控制台。

2. 运行以下 Ruby 代码：

   artifacts_deleted = 0
   ::Ci::JobArtifact.find_each do |artifact|                      ### Iterate artifacts
   #  next if artifact.file.filename != "job.log"                 ### Uncomment if only `job.log` files' references are to be processed
     next if artifact.file.file.exists?                           ### Skip if the file reference is valid
     artifacts_deleted += 1
     puts "#{artifact.id}  #{artifact.file.path} is missing."     ### Allow verification before destroy
   #  artifact.destroy!                                           ### Uncomment to actually destroy
   end
   puts "Count of identified/destroyed invalid references: #{artifacts_deleted}"
   

删除对缺失 LFS 对象的引用

如果 gitlab-rake gitlab:lfs:check VERBOSE=1 检测到存在于数据库中但不在磁盘上的 LFS 对象，按照 LFS 文档中的步骤，删除数据库条目。

更新 dangling 对象存储引用

如果您已经从对象存储迁移到本地存储 并且文件丢失，那么 dangling 数据库引用仍然存在。

这在迁移日志中可见，错误如下：

W, [2022-11-28T13:14:09.283833 #10025]  WARN -- : Failed to transfer Ci::JobArtifact ID 11 with error: undefined method `body' for nil:NilClass
W, [2022-11-28T13:14:09.296911 #10025]  WARN -- : Failed to transfer Ci::JobArtifact ID 12 with error: undefined method `body' for nil:NilClass

在禁用对象存储后尝试，删除对缺失产物的引用，会导致以下错误：

RuntimeError (Object Storage is not enabled for JobArtifactUploader)

要更新这些引用，指向本地存储：

1. 打开极狐GitLab Rails 控制台。

2. 运行以下 Ruby 代码：

   artifacts_updated = 0
   ::Ci::JobArtifact.find_each do |artifact|                    ### Iterate artifacts
     next if artifact.file_store != 2                           ### Skip if file_store already points to local storage
     artifacts_updated += 1
     # artifact.update(file_store: 1)                           ### Uncomment to actually update
   end
   puts "Updated file_store count: #{artifacts_updated}"
   

删除对缺失产物的引用的脚本现在可以正常运行并清理数据库。