修复测试并提升稳定性

1. 你在这里:
2. 极狐 Handbook
3. 极狐研发团队
4. 极狐产品质量团队
5. 修复测试并提升稳定性

• 概述
• 确定版本
• 确定测试代码
• 在本地运行测试
• 修复测试

概述

我们需要提升测试的稳定性，准确性以及执行速度：

• 稳定性：我们需要测试用例稳定的执行，不因为环境因素来频繁让测试pipeline失败。
• 准确性：我们需要失败的测试准备告知在何处失败以及为何失败。
• 执行速度：我们需要提高测试的执行速度，以配合版本的发布速度。

确定版本

在调试失败/错误的时候第一时间应该做的就是 确定 QA Image 和测试对象的版本，下面分为两种情况下介绍一下 Image 的版本规则。

1. 发布版本: 我们沿用 upstream 的命名规则，采用 Semantic version， 需要注意的是 JH Image 和 QA Image 在命名和 tag 上会有细微差别，例如: 极狐镜像为: gitlab-jh:15.6.1 , 而 QA 镜像是 gitlab-jh-qa:15.6.1-jh。
2. 开发版本: 我们同样沿用了 upstream 的命名规则， 采用 commit sha 来作为 JH Image 和 QA Image 的 tag 名。JH Image 和 QA Image 的开发版本的 tag 没有区别。

我们第一时间应该确定的是 JH Image 和 QA Image 的版本要一致，例如: 极狐镜像为: gitlab-jh:15.6.1 对应 QA 镜像是 gitlab-jh-qa:15.6.1-jh， 我们使用对应的版本来保证了测试代码的可追溯性以及测试代码和测试功能的一一对应。

确定测试代码

1. 我们应该从 QA registry 来确定 QA Image 是否已经可以被使用，如果可用，则先进行 docker pull。
2. 在拉取完成以后，我们可以使用如下命令进入镜像：

docker run -it --entrypoint /bin/sh dev-ops.gitlab.cn:5050/gitlab/omnibus-gitlab/gitlab-jh-qa:<correct_version>

镜像内容的目录结构如下:

├── INSTALLATION_TYPE
├── VERSION
├── config
├── ee
├── lib
├── qa # upstream code
├── jh
│   ├── qa # JH code
│   ├── lib

请确保测试代码的正确性。

在本地运行测试

请参照 在本地运行测试 来先在本地调试，其中有几个细节:

1. 省略 flaky 测试, flaky 的测试本来就是不稳定和容易失败的,在调试的时候我们应该尽力排除干扰项， 使用 --tag ~flaky 可以排除该类型测试。
2. 忽略 fulfillment 测试，目前我们还无法在本地环境来测试购买相关内容。
3. 通过如下命令对本地环境进行测试（或者手动测试也是可以的）

WEBDRIVER_HEADLESS=false bundle exec bin/qa Test::Instance::All http://localhost:3000 <failed cases>

1. 将 QA_LOG_LEVEL 设置为 true， 将会提供更多信息方便调试。

修复测试

请按照 best practice中的方法来对失败测试进行修复。