测试标准和测试工具

- [商用软件](#商用软件)
- [硬件](#硬件)
- [操作系统](#操作系统)

商用软件

测试标准

经openEuler兼容性SIG组评定，针对商用软件技术测评的测试方案如下。

测试步骤

工具简介

为了解决欧拉技术测评过程中涉及的ISV商用软件兼容性测试问题，特基于《欧拉技术测评兼容性测试用例（ISV商用软件）》 集成了lkp-tests和x2openEuler测试工具。

环境要求

注意

• 请勿在生产环境安装和执行测试工具。
• 工具安装过程需从外网下载代码和依赖包，请确保网络连接正常（如无法连接外网，需要将gem相关依赖完全离线并进行安装）。
• 工具默认安装在当前目录，请确保目录剩余空间足够。

工具安装

Lkp-tests

1. 安装依赖。

   yum install -y wget git rubygems
   

2. 安装Lkp-tests。

   git clone https://gitee.com/wu_fengguang/lkp-tests
   
   cd lkp-tests
   
   sed -i "s/rubygems.org/gems.ruby-china.com/g" Gemfile
   
   gem sources --remove https://rubygems.org/
   
   gem sources -a https://gems.ruby-china.com/
   
   make install
   

3. 写入环境变量。

   将lkp-tests所在路径增加到/etc/profile末尾，便于后续测试。

   vi /etc/profile
   
   
       export LKP_PATH="填写lkp-tests所在路径"。
   

   • vi 打开文件后，"shift"+"g"跳到文件末尾，然后按下"o" 编辑下一行。

   • 输入完成后，"esc"退出编辑，然后输入":wq"+"enter"保存并退出文件。

    source /etc/profile
   

4. 下载测试套。

   git clone https://gitee.com/whatamaze/compatibility-test
   
   cd compatibility-test
   
   sh install.sh
   

x2openEuler安装

1. 安装依赖。

    yum install -y bzip2 bzip2-devel
   

2. 安装x2openEuler。

   访问 https://repo.oepkgs.net/openEuler/rpm/openEuler-20.03-LTS-SP1/contrib/x2openEuler/ 获取x2openEuler软件包并上传至服务器。

   yum install x2openEuler-xxx.rpm
   

3. 设置x2openEuler密码。

   passwd x2openEuler
   

   说明：

   用户登录的密码，建议满足如下复杂度要求：

   • 密码长度为8~32个字符。
   • 使用包含大写字母、小写字母、数字、特殊字符（~!@#$%^&*()-_=+|[{}];:'",<.>/?）中的两种及以上类型的组合。
   • 密码中不包含空格。
   • 密码中不使用用户名。

测试执行

Lkp-tests测试

1. 安装通用依赖。

   export arch=\`arch\`
   
   gem install git -v 1.9.1
   
   lkp install
   

   注意： 此处必须安装1.12以下版本的git，否则会导致接口传参出错。

2. 安装兼容性测试依赖。

   lkp split-job $LKP_PATH/jobs/compatibility-test.yaml
   
   lkp install -f compatibility-test-defaults.yaml
   

   执行成功后会在执行命令目录中生成 compatibility-test-defaults.yaml 文件，用于后续任务调度，后续执行执行兼容性测试，也需切换到此目录。

3. 执行兼容性测试。

   将待测软件包放至当前目录下，执行以下命令，最终测试结果在compatibilityLog文件中。

   lkp run ./compatibility-test-defaults.yaml -s 'package_name: xxxxxx' >compatibilityLog 2\>& 1
   

   说明：

   • package_name: 后必须有一个空格，否则导致报错无法进行测试。
   • 此处package_name后需填写软件包文件全名，例如nginx-1.14.2-1.oe1.aarch
   • 当前脚本适配rpm包，如无法直接使用rpm -ivh等rpm命令进行安装、卸载，请在脚本中修改安装卸载命令，详见附录的修改商业软件测试安装和卸载命令。

x2openEuler测试

1. 切换到x2openEuler用户。

   su - x2openEuler
   

   须知：

   使用前请务必切换用户为x2openEuler用户

2. 执行扫描。

   x2openEuler scan [-batch] [-arch ARCH] [-os_name OS_NAME] [-target_os_name TARGET_OS_NAME] {filename \| directoryname}
   

   命令	参数选项	说明
   -batch	-	多应用场景，配合directoryname，扫描文件夹下多个软件包若无此参数，仅扫描单个软件包。
   -arch	ARCH	操作系统架构 可选参数。 可选x86_64或aarch64，默认为x86_64。 例如"-arch x86_64" 选择操作系统架构为x86_64。
   -os_name	OS_NAME	源操作系统 可选参数,默认参数为centos7.6。例如"-os_name centos8.2" 选择源操作系统为CentOS 8.2。说明：当前源操作系统支持CentOS 6.8/CentOS 7.6/CentOS 8.2。
   - target_os_name	TARGET_OS_NAME	目标操作系统 可选参数,默认参数为openEuler20.03-LTS-SP1。例如"-target_os_name openEuler20.03-LTS-SP1" 选择目标操作系统为openEuler20.03-LTS-SP1。
   -	filename| directoryname	需扫描的应用包或目录,例如"x2openEuler scan file_name_version.rpm" 选择扫描的应用包为file_name_version.rpm。说明：当前扫描支持rpm/tar/zip/gzip/jar/py/pyc/sh/bin文件。

   此处以评估CUnit-2.1.3-21.oel.aarch64.rpm_应用包并输出软件评估报告为例，请根据实际情况选择所需参数并替换为需要扫描的软件包或软件包目录。

   x2openEuler scan -arch x86_64 CUnit-2.1.3-21.oel.x86_64.rpm
   

   

3. 结果查看。

   报告为html格式，建议下载报告并在浏览器查看。

   

硬件

测试标准

整机测试标准

经openEuler兼容性SIG组评定，硬件技术测评分为整机和板卡，整机测试方案如下。

板卡测试标准

经openEuler兼容性SIG组评定，硬件技术测评分为整机和板卡，板卡测试方案如下：

NVMe测试标准

网卡测试标准

FC测试标准

GPU测试标准

测试步骤

工具简介

为了解决欧拉技术测评过程中涉及的整机和板卡兼容性测试问题，基于《欧拉技术测评兼容性测试用例（整机&板卡）》 集成了oec-hardware测试工具。 此工具将根据《欧拉技术测评兼容性测试用例（整机&板卡）》提取为58个自动化测试用例，分为整机测试用例集和板卡测试用例集。

环境要求

整机测试环境要求。

板卡测试环境要求。

注意

• 部分测试用例会重启机器，请勿在生产环境安装和执行测试工具。
• 工具安装过程需要从外网下载代码和依赖包，请确保网络连接正常（如无法连接外网，需要下载相关依赖并进行安装）。
• 工具日志默认存放在/usr/share，请确保目录剩余空间足够。

工具安装

客户端：

1. 配置 openEuler 官方 repo 中对应版本的 everything 和 update 源，使用 dnf 安装客户端 oec-hardware。

    dnf install oec-hardware
   

2. 输入 oech 命令，可正常运行，则表示安装成功。

服务端：

1. 配置 openEuler 官方 repo 中对应版本的 everything 和 update 源，使用 dnf 安装服务端 oec-hardware-server。

   dnf install oec-hardware-server
   

2. 服务端 web 展示页面需要的部分组件系统本身不提供，需要使用 pip3 安装（请自行配置可用 pip 源）。

   pip3 install Flask Flask-bootstrap uwsgi
   

3. 启动服务：本服务默认使用 8080 端口，同时搭配 nginx（默认端口 80）提供 web 服务，请确认端口未被占用。

   systemctl start oech-server.service
   
   systemctl start nginx.service
   

4. 关闭防火墙和 SElinux。

   systemctl stop firewalld
   
   iptables -F
   
   setenforce 0
   

测试执行

• /usr/share/oech/kernelrelease.json 文件中列出了当前支持的所有系统版本，使用uname -a 命令确认当前系统内核版本是否属于框架支持的版本。
• 框架默认会扫描所有网卡，对网卡进行测试前，请自行筛选被测网卡，并为其配置能够 ping 通服务端的IP。如果客户端对 InfiniBand 网卡进行测试，服务端也需要有一个 InfiniBand 网卡并提前配 IP 。建议不使用业务网口进行网卡测试。
• 部分用例需要root权限，请使用root用户执行。

1. 启动测试工具。

   在完成安装oec-hardware软件包的客户端执行 oech，填写ID、URL、Server配置项，ID 建议填写 gitee 上的 issue ID（注意：ID中不能带特殊字符）、URL建议填写产品链接。Server 需填写客户端可直接访问的服务器域名或 ip，用于展示测试报告和作网络测试的服务端。

   \# oech
   
   The openEuler Hardware Compatibility Test Suite
   
   Please provide your Compatibility Test ID:
   
   Please provide your Product URL:
   
   Please provide the Compatibility Test Server (Hostname or Ipaddr):
   

2. 进入测试套选择界面。

   在用例选择界面，框架将自动扫描硬件并选取当前环境可供测试的测试套，输入 edit 可以进入测试套选择界面。

• 板卡测试请选择对应的板卡测试项。
• 整机测试建议测试全部类型的测试项，至少需要测试一张RAID卡和网卡，网卡测试选择一个网口即可，注意不要使用业务网口进行测试。

  These tests are recommended to complete the compatibility test:
  
  No. Run-Now? Status Class Device
  
  1 yes NotRun acpi
  
  2 yes NotRun clock
  
  3 yes NotRun cpufreq
  
  4 yes NotRun disk
  
  5 yes NotRun ethernet enp3s0
  
  6 yes NotRun ethernet enp4s0
  
  7 yes NotRun ethernet enp5s0
  
  8 yes NotRun kdump
  
  9 yes NotRun memory
  
  10 yes NotRun perf
  
  11 yes NotRun system
  
  12 yes NotRun usb
  
  13 yes NotRun watchdog
  
  Ready to begin testing? (run\|edit\|quit)
  

3. 选择测试套。

   all|none 分别用于 全选|全取消（必测项 system 不可取消，多次执行成功后 system 的状态会变为Force），数字编号可选择测试套，每次只能选择一个数字，按 enter 之后 no 变为 yes，表示已选择该测试套。

4. 开始测试。

   选择完成后输入 run 开始测试。

5. 上传测试结果。

   测试完成后可以上传测试结果到安装oec-hardware-server软件包的服务端，便于展示结果和日志分析。如果上传失败，请检查网络配置，重新上传测试结果。

6. 查看工具的测试日志。

   客户端详细的测试日志路径为 /usr/share/oech/logs/oech-yyyymmddxxxx-xxxxxxx.tar 。

7. 查看测试结果。

   测试结果上传到服务端后，在浏览器打开服务端 IP 地址，点击导航栏 Results 界面，找到对应的测试 id 进入，可看到具体的测试结果展示，包括环境信息和执行结果等。

操作系统

测试标准

经openEuler兼容性SIG组评定，OSV商用发行版/企业自用版技术测评的测试方案如下。

测试步骤

工具简介

OECP工具比较2个ISO之间的静态差异，OECP工具需借助compass-ci才能比较2个ISO之间的动态差异。在测试完成后输出的OSV认证报告中，静态差异测试工具检测的检测项，动态差异才包括平台验证的检测项。

环境要求

注意

• 请勿在生产环境安装和执行测试工具
• 工具安装过程需要从外网下载代码和依赖包，请确保网络连接正常（如无法连接外网，需要将gem相关依赖完全离线并进行安装）。
• 工具默认安装在当前目录，请确保目录剩余空间足够。

工具安装

1. 安装依赖。

   yum install -y python3-devel sqlite libabigail-devel python3-pip
   
   pip3 install pyyaml
   
   git clone https://github.com/lvc/japi-compliance-checker.git
   
   cd japi-compliance-checker
   
   make install prefix=/usr
   

   安装结果检测。

    japi-compliance-checker -test
   

   

2. 工具安装。

   git clone https://gitee.com/openeuler/oecp.git
   
   cd oecp
   
   pip3 install -r requirement
   

测试执行

1. 执行测试。

   python3 cli.py file1 file2
   

   说明：

   • file1: 基准ISO
   • file2: 待测评的ISO

2. 查看结果。

   在结果文件osv_data_summary.xlsx中查看测试结果。