运行E2E测试的基本知识

维护者:

概述
前置条件
常用参数
对本地GDK环境来进行测试

概述

本文会进行概述如何在本地进行E2E测试的设置

前置条件

参照GDK配置配置本地GDK环境，请确认已经切换至main-jh分支。
进入gitlab/qa目录。
执行 bundle install来进行gem安装。
常用参数

参数名	默认值	含义	是否必须
`GITLAB_USERNAME`	`root`	登录用户名	必须
`GITLAB_PASSWORD`	`5iveL!fe`	登录密码	必须
`GITLAB_ADMIN_USERNAME`		ADMIN用户名	必须
`GITLAB_ADMIN_PASSWORD`		ADMIN密码	必须
`GITLAB_QA_ACCESS_TOKEN`		登录用户的Personal Access Token,只需要`api`的权限	非必须
`EE_LICENSE`		EE证书	非必须
`WEBDRIVER_HEADLESS`	`true`	在本地运行测试的时候，可以将该参数设置为`false`	非必须
`QA_DEBUG`	`false`	在本地运行测试的时候，可以将该参数设置为`true`，可以显示详细的测试信息	非必须
`QA_CAN_TEST_ADMIN_FEATURES`	`true`	设置成`false`将会跳过需要admin账号的测试用例	非必须

对本地GDK环境来进行测试

配置

从ifconfig命令获得当前ip，比如说192.168.1.13。

从本地的gdk目录来创建/修改gdk.yml，并在中加入如下的内容

 ---
 gdk:
     overwrite_changes: true
 hostname: 192.168.1.13
 sshd:
     enabled: true
     listen_address: 192.168.1.13
 webpack:
     host: 192.168.1.13

在gdk目录来运行gdk reconfigure
- 该命令会更新gitlab/config/gitlab.yml里的localhost为上面提供的ip。
替换gdk/gitlab/config/gitlab.yml里面的production:gitlab_shell部分下面的ssh_host: localhost为ssh_host: 192.168.1.13。
在gdk目录中的openssh/sshd_config添加 AcceptEnv GIT_PROTOCOL。
使用gdk restart来重启gdk。
现在使用http://192.168.1.13:3000就可以访问本地的gdk环境了。

运行测试前调整 Feature Flag

在运行测试时，可能需要打开关闭某些 Feature Flag，比如 默认中文语言，可以传入参数 --enable-feature xxx 或者 --disable-feature xxx 来实现，比如

...
GITLAB_QA_ADMIN_ACCESS_TOKEN=$ROOT_ADMIN_TOKEN \
bundle exec bin/qa Test::Instance::All http://gdk.test:3000 \
--disable-feature set_default_locale_to_zhcn \
-- qa/specs/features/browser_ui/1_manage/project/personal_project_permissions_spec.rb

在代码 template.rb 中会读取 enable-feature/disable-feature 参数，通过 Runtime::Feature.enable/disable 调用 REST API 打开关闭 Feature。需要注意，打开关闭 Feature Flag 需要设置 GITLAB_QA_ADMIN_ACCESS_TOKEN，因为只有 ROOT 用户有权限操作 Feature Flag。在测试运行完成后，会恢复刚才对 Feature Flag 的修改，确保测试环境的一致性。

运行测试前调整 ApplicationSetting

在运行测试时，可能需要打开关闭某些 ApplicationSetting，比如 验证手机号码，和上面的调整 Feature Flag 不同，目前不能通过传入参数进行调整，只能通过在代码中调用 Runtime::ApplicationSettings.set_application_settings 修改，比如下面这个测试，需要注意的是，测试需要自己恢复对 ApplicationSetting 的修改。

module QA
  RSpec.describe 'Create' do
    describe 'Default branch name instance setting', :requires_admin, :skip_live_env do
      before(:context) do
        Runtime::ApplicationSettings.set_application_settings(default_branch_name: 'main')
      end

      after(:context) do
        Runtime::ApplicationSettings.restore_application_settings(:default_branch_name)
      end
...

对本地环境进行测试

进入gitlab/qa目录。测试命令可以很简单的分为

参数设置 bundle exec bin/qa 测试场景 测试对象 -- 用例目录

下面是具体例子，及解析：

QA_DEBUG=1 WEBDRIVER_HEADLESS=0 GITLAB_USERNAME=xxxx GITLAB_PASSWORD=yyyy GITLAB_ADMIN_USERNAME=zzzz GITLAB_ADMIN_PASSWORD=xyxy GITLAB_QA_ACCESS_TOKEN=yzyz bundle exec bin/qa Test::Instance::All http://staging.jihulab.com -- qa/qa/specs/features/browser_ui/

QA_DEBUG=1 WEBDRIVER_HEADLESS=0 GITLAB_USERNAME=xxxx GITLAB_PASSWORD=yyyy GITLAB_ADMIN_USERNAME=zzzz GITLAB_ADMIN_PASSWORD=xyxy GITLAB_QA_ACCESS_TOKEN=yzyz
- QA_DEBUG=1: 详细显示测试log。
- WEBDRIVER_HEADLESS=0：不使用浏览器无头模式进行测试。
- GITLAB_USERNAME=xxxx GITLAB_PASSWORD=yyyy GITLAB_ADMIN_USERNAME=zzzz GITLAB_ADMIN_PASSWORD=xyxy GITLAB_QA_ACCESS_TOKEN=yzyz：设置测试用户名/密码/ADMIN用户名/ADMIN密码/测试personal access token。
bundle exec bin/qa Test::Instance::All http://staging.jihulab.com：
- 使用bin/qa命令来进行全级别的测试。
- 测试对象为: http://staging.jihulab.com。
– qa/qa/specs/features/browser_ui/：
- 测试用例目录为qa/qa/specs/features/browser_ui/。
- 留空则运行qa/qa/specs/features下的所有测试用例。
  测试EE版本
  
  请使用下列命令
```
 export EE_LICENSE=$(cat /path/to/gitlab_license)
```

使用gitlab-qa对本地GDK环境进行测试

常用参数

参数名	默认值	含义	是否必须
`GITLAB_USERNAME`	`root`	登录用户名	必须
`GITLAB_PASSWORD`	`5iveL!fe`	登录密码	必须
`GITLAB_ADMIN_USERNAME`		ADMIN用户名	必须
`GITLAB_ADMIN_PASSWORD`		ADMIN密码	必须
`GITLAB_QA_ACCESS_TOKEN`		登录用户的Personal Access Token,只需要`api`的权限	非必须
`EE_LICENSE`		EE证书	非必须
`WEBDRIVER_HEADLESS`	`true`	在本地运行测试的时候，可以将该参数设置为`false`	非必须
`QA_DEBUG`	`false`	在本地运行测试的时候，可以将该参数设置为`true`，可以显示详细的测试信息	非必须
`QA_CAN_TEST_ADMIN_FEATURES`	`true`	设置成`false`将会跳过需要admin账号的测试用例	非必须
`GITLAB_QA_ADMIN_ACCESS_TOKEN`		Admin账号的Personal Access Token,只需要`api`的权限	非必须
`EE_LICENSE`		EE版本的license内容	非必须
`QA_CAN_TEST_GIT_PROTOCOL_V2`	`true`	在不支持`git v2`协议的环境请设置为`false`.	非必须
`QA_CAN_TEST_PRAEFECT`	`true`	在无法运行需要高级权限账号的测试的时候，请设置为`false`	非必须
`QA_SKIP_PULL`	`false`	在需要使用本地构建的docker镜像时，请设置为	非必须

前置条件

安装gitlab-qa:
```
gem install gitlab-qa
```
从镜像地址拉取gitlab-jh-qa和gitlab-jh镜像:

进行本地配置:

修改gitlab-jh-qa镜像名字: gitlab-qa使用对镜像名字进行了非常严格的判断，必须是以gitlab/*-ce|ee-qa:<tag>样式:
```
  docker tag <gitlab-jh-qa> gitlab/gitlab-ee-qa:<release-version>
```
设置不再拉取远端gitlab-jh-qa镜像:
```
  export QA_SKIP_PULL=1
```

设置运行参数:

  export GITLAB_USERNAME=xxxx
  export GITLAB_PASSWORD=yyyy
  export QA_DEBUG=1

在本地运行测试:

  gitlab-qa Test::Instance::Any gitlab/gitlab-ee-qa:<release-version> http://192.168.1.13:3000 -- qa/specs/features/browser_ui/1_manage/login/log_in_spec.rb

运行E2E测试的基本知识

维护者:

概述

前置条件

常用参数

对本地GDK环境来进行测试

配置

运行测试前调整 Feature Flag

运行测试前调整 ApplicationSetting

对本地环境进行测试

测试EE版本

使用gitlab-qa对本地GDK环境进行测试

常用参数

前置条件