目 录

1 概述

1.1 目的

1.2 适用范围

1.3 定义

2 openEuler技术测评场景说明

2.1 技术测评

2.1.1 场景说明

2.1.2 软件和硬件测评流程说明

2.1.2.1 整体流程

2.1.2.2 流程节点说明

2.2 操作系统测评流程说明

2.2.1 场景说明

2.2.2 整体流程

2.2.3 流程节点说明

3 测试标准和测试工具

3.1 商用软件

3.1.1 测试用例

3.1.2 测试工具

3.2 硬件

3.2.1 测试用例

3.2.2 测试工具

3.3 操作系统

3.3.1 测试用例

3.3.2 测试工具

4 平台操作指导

4.1 用户注册

4.2 企业认证

4.3 测评申请

4.4 测评审批

4.4 证书签发

5 附录

5.1 修改商业软件测试安装和卸载命令

概述

1.1 目的

1.2 适用范围

1.3 定义

目的

openEuler技术测评，是openEuler社区面向产业伙伴提供的一项技术性服务，由openEuler社区针对伙伴产品进行集成、构建、测试和验证，以证明伙伴产品与openEuler操作系统间的技术关系，以及伙伴基于openEuler的产品构建能力，帮助伙伴为客户提供更好的解决方案。

openEuler技术测评，是openEuler社区针对使用openEuler OS的生态伙伴解决方案的技术测评服务。本文描述了openEuler技术测评标准，本标准不仅仅适用于openEuler社区，也适用于获得欧拉社区授权，开展openEuler技术测评活动的测试机构（如欧拉生态创新中心等）。本文档旨在提供统一的测试标准、流程和测试工具，简化伙伴测试的复杂度。

适用范围

本文档描述范围是openEuler技术测评。适用但不限于如下组织：

• openEuler社区授权的测试/测评机构，openEuler兼容性SIG组
• 各地域openEuler创新中心、生态实验室

定义

openEuler技术测评场景说明

2.1 技术测评

2.2 交叉测评

技术测评

场景说明

openEuler是面向商业软件、硬件、操作系统发行版及开发openEuler Compatible技术测评项目，根据证书类型，分为通用证书及OS证书。

证书样式如下：

通用证书首页
OS证书首页
证书背面

软件和硬件测评流程说明

整体流程

说明：

申请技术测评需先完成帐号注册、完善企业信息，签署CLA协议（步骤001-004）。如已完成上述步骤001-004，可直接提交技术测评申请（步骤005）。

流程节点说明

操作系统测评流程说明

整体流程

说明：

申请技术测评需先完成帐号注册、完善企业信息及签署CLA协议（步骤001-004）。如已完成上述步骤001-004，可直接提交技术测评申请（步骤005）。

流程节点说明

测试标准和测试工具

3.1 ISV

3.2 IHV

3.3 OSV

商用软件

测试标准

经openEuler兼容性SIG组评定，针对商用软件技术测评的测试方案如下。

测试步骤

工具简介

为了解决欧拉技术测评过程中涉及的ISV商用软件兼容性测试问题，特基于《欧拉技术测评兼容性测试用例（ISV商用软件）》 集成了lkp-tests和x2openEuler测试工具。

环境要求

注意

• 请勿在生产环境安装和执行测试工具。
• 工具安装过程需从外网下载代码和依赖包，请确保网络连接正常（如无法连接外网，需要将gem相关依赖完全离线并进行安装）。
• 工具默认安装在当前目录，请确保目录剩余空间足够。

工具安装

Lkp-tests

1. 安装依赖。

   yum install -y wget git rubygems
   

2. 安装Lkp-tests。

   git clone https://gitee.com/wu_fengguang/lkp-tests
   
   cd lkp-tests
   
   sed -i "s/rubygems.org/gems.ruby-china.com/g" Gemfile
   
   gem sources --remove https://rubygems.org/
   
   gem sources -a https://gems.ruby-china.com/
   
   make install
   

3. 写入环境变量。

   将lkp-tests所在路径增加到/etc/profile末尾，便于后续测试。

   vi /etc/profile
   
   
       export LKP_PATH="填写lkp-tests所在路径"。
   

   • vi 打开文件后，"shift"+"g"跳到文件末尾，然后按下"o" 编辑下一行。

   • 输入完成后，"esc"退出编辑，然后输入":wq"+"enter"保存并退出文件。

    source /etc/profile
   

4. 下载测试套。

   git clone https://gitee.com/whatamaze/compatibility-test
   
   cd compatibility-test
   
   sh install.sh
   

x2openEuler安装

1. 安装依赖。

    yum install -y bzip2 bzip2-devel
   

2. 安装x2openEuler。

   访问 https://repo.oepkgs.net/openEuler/rpm/openEuler-20.03-LTS-SP1/contrib/x2openEuler/ 获取x2openEuler软件包并上传至服务器。

   yum install x2openEuler-xxx.rpm
   

3. 设置x2openEuler密码。

   passwd x2openEuler
   

   说明：

   用户登录的密码，建议满足如下复杂度要求：

   • 密码长度为8~32个字符。
   • 使用包含大写字母、小写字母、数字、特殊字符（~!@#$%^&*()-_=+|[{}];:'",<.>/?）中的两种及以上类型的组合。
   • 密码中不包含空格。
   • 密码中不使用用户名。

测试执行

Lkp-tests测试

1. 安装通用依赖。

   export arch=\`arch\`
   
   gem install git -v 1.9.1
   
   lkp install
   

   注意：

   此处必须安装1.12以下版本的git，否则会导致接口传参出错。

2. 安装兼容性测试依赖。

   lkp split-job $LKP_PATH/jobs/compatibility-test.yaml
   
   lkp install -f compatibility-test-defaults.yaml
   

   执行成功后会在执行命令目录中生成 compatibility-test-defaults.yaml 文件，用于后续任务调度，后续执行兼容性测试，也需切换到此目录。

3. 执行兼容性测试。

   将待测软件包放至当前目录下，执行以下命令，最终测试结果在compatibilityLog文件中。

   lkp run ./compatibility-test-defaults.yaml -s 'package_name: xxxxxx' >compatibilityLog 2\>& 1
   

   说明：

   • package_name: 后必须有一个空格，否则导致报错无法进行测试。
   • 此处package_name后需填写软件包文件全名，例如nginx-1.14.2-1.oe1.aarch
   • 当前脚本适配rpm包，如无法直接使用rpm -ivh等rpm命令进行安装、卸载，请在脚本中修改安装卸载命令，详见附录商业软件测试安装和卸载命令。

x2openEuler测试

1. 切换到x2openEuler用户。

   su - x2openEuler
   

   须知：

   使用前请务必切换用户为x2openEuler用户

2. 执行扫描。

   x2openEuler scan [-batch] [-arch ARCH] [-os_name OS_NAME] [-target_os_name TARGET_OS_NAME] {filename \| directoryname}
   

   命令	参数选项	说明
   -batch	-	多应用场景，配合directoryname，扫描文件夹下多个软件包若无此参数，仅扫描单个软件包。
   -arch	ARCH	操作系统架构 可选参数。 可选x86_64或aarch64，默认为x86_64。 例如"-arch x86_64" 选择操作系统架构为x86_64。
   -os_name	OS_NAME	源操作系统 可选参数,默认参数为centos7.6。例如"-os_name centos8.2" 选择源操作系统为CentOS 8.2。说明：当前源操作系统支持CentOS 6.8/CentOS 7.6/CentOS 8.2。
   - target_os_name	TARGET_OS_NAME	目标操作系统 可选参数,默认参数为openEuler20.03-LTS-SP1。例如"-target_os_name openEuler20.03-LTS-SP1" 选择目标操作系统为openEuler20.03-LTS-SP1。
   -	filename| directoryname	需扫描的应用包或目录,例如"x2openEuler scan file_name_version.rpm" 选择扫描的应用包为file_name_version.rpm。说明：当前扫描支持rpm/tar/zip/gzip/jar/py/pyc/sh/bin文件。

   此处以评估CUnit-2.1.3-21.oel.aarch64.rpm_应用包并输出软件评估报告为例，请根据实际情况选择所需参数并替换为需要扫描的软件包或软件包目录。

   x2openEuler scan -arch x86_64 CUnit-2.1.3-21.oel.x86_64.rpm
   

   

3. 结果查看。

   报告为html格式，建议下载报告并在浏览器查看。

   

硬件

测试标准

整机测试标准

经openEuler兼容性SIG组评定，硬件技术测评分为整机和板卡，整机测试方案如下。

板卡测试标准

经openEuler兼容性SIG组评定，硬件技术测评分为整机和板卡，板卡测试方案如下：

NVMe测试标准

网卡测试标准

FC测试标准

GPU测试标准

测试步骤

工具简介

为了解决欧拉技术测评过程中涉及的整机和板卡兼容性测试问题，基于《欧拉技术测评兼容性测试用例（整机&板卡）》 集成了oec-hardware测试工具。 此工具将根据《欧拉技术测评兼容性测试用例（整机&板卡）》提取为58个自动化测试用例，分为整机测试用例集和板卡测试用例集。

环境要求

整机测试环境要求。

板卡测试环境要求。

注意

• 部分测试用例会重启机器，请勿在生产环境安装和执行测试工具。
• 工具安装过程需要从外网下载代码和依赖包，请确保网络连接正常（如无法连接外网，需要下载相关依赖并进行安装）。
• 工具日志默认存放在/usr/share，请确保目录剩余空间足够。

工具安装

客户端：

1. 配置 openEuler 官方 repo 中对应版本的 everything 和 update 源，使用 dnf 安装客户端 oec-hardware。

    dnf install oec-hardware
   

2. 输入 oech 命令，可正常运行，则表示安装成功。

服务端：

1. 配置 openEuler 官方 repo 中对应版本的 everything 和 update 源，使用 dnf 安装服务端 oec-hardware-server。

   dnf install oec-hardware-server
   

2. 服务端 web 展示页面需要的部分组件系统本身不提供，需要使用 pip3 安装（请自行配置可用 pip 源）。

   pip3 install Flask Flask-bootstrap uwsgi
   

3. 启动服务：本服务默认使用 8080 端口，同时搭配 nginx（默认端口 80）提供 web 服务，请确认端口未被占用。

   systemctl start oech-server.service
   
   systemctl start nginx.service
   

4. 关闭防火墙和 SElinux。

   systemctl stop firewalld
   
   iptables -F
   
   setenforce 0
   

​

测试执行

• /usr/share/oech/kernelrelease.json 文件中列出了当前支持的所有系统版本，使用uname -a 命令确认当前系统内核版本是否属于框架支持的版本。
• 框架默认会扫描所有网卡，对网卡进行测试前，请自行筛选被测网卡，并为其配置能够 ping 通服务端的IP。如果客户端对 InfiniBand 网卡进行测试，服务端也需要有一个 InfiniBand 网卡并提前配 IP 。建议不使用业务网口进行网卡测试。
• 部分用例需要root权限，请使用root用户执行。

1. 启动测试工具

   在完成安装oec-hardware软件包的客户端执行 oech，填写ID、URL、Server配置项，ID 建议填写 gitee 上的 issue ID（注意：ID中不能带特殊字符）、URL建议填写产品链接。Server 需填写客户端可直接访问的服务器域名或 ip，用于展示测试报告和作网络测试的服务端。

   \# oech
   
   The openEuler Hardware Compatibility Test Suite
   
   Please provide your Compatibility Test ID:
   
   Please provide your Product URL:
   
   Please provide the Compatibility Test Server (Hostname or Ipaddr):
   

2. 进入测试套选择界面

   在用例选择界面，框架将自动扫描硬件并选取当前环境可供测试的测试套，输入 edit 可以进入测试套选择界面。

• 板卡测试请选择对应的板卡测试项。
• 整机测试建议测试全部类型的测试项，至少需要测试一张RAID卡和网卡，网卡测试选择一个网口即可，注意不要使用业务网口进行测试。

  These tests are recommended to complete the compatibility test:
  
  No. Run-Now? Status Class Device
  
  1 yes NotRun acpi
  
  2 yes NotRun clock
  
  3 yes NotRun cpufreq
  
  4 yes NotRun disk
  
  5 yes NotRun ethernet enp3s0
  
  6 yes NotRun ethernet enp4s0
  
  7 yes NotRun ethernet enp5s0
  
  8 yes NotRun kdump
  
  9 yes NotRun memory
  
  10 yes NotRun perf
  
  11 yes NotRun system
  
  12 yes NotRun usb
  
  13 yes NotRun watchdog
  
  Ready to begin testing? (run\|edit\|quit)
  

3. 选择测试套

   all|none 分别用于 全选|全取消（必测项 system 不可取消，多次执行成功后 system 的状态会变为Force），数字编号可选择测试套，每次只能选择一个数字，按 enter 之后 no 变为 yes，表示已选择该测试套。

4. 开始测试

   选择完成后输入 run 开始测试。

5. 上传测试结果

   测试完成后可以上传测试结果到安装oec-hardware-server软件包的服务端，便于展示结果和日志分析。如果上传失败，请检查网络配置，重新上传测试结果。

6. 查看工具的测试日志

   客户端详细的测试日志路径为 /usr/share/oech/logs/oech-yyyymmddxxxx-xxxxxxx.tar 。

7. 查看测试结果。

   测试结果上传到服务端后，在浏览器打开服务端 IP 地址，点击导航栏 Results 界面，找到对应的测试 id 进入，可看到具体的测试结果展示，包括环境信息和执行结果等。

操作系统

测试标准

经openEuler兼容性SIG组评定，OSV商用发行版/企业自用版技术测评的测试方案如下。

测试步骤

工具简介

OECP工具比较2个ISO之间的静态差异，OECP工具需借助compass-ci才能比较2个ISO之间的动态差异。在测试完成后输出的OSV认证报告中，静态差异测试工具检测的检测项，动态差异才包括平台验证的检测项。

环境要求

注意

• 请勿在生产环境安装和执行测试工具
• 工具安装过程需要从外网下载代码和依赖包，请确保网络连接正常（如无法连接外网，需要将gem相关依赖完全离线并进行安装）。
• 工具默认安装在当前目录，请确保目录剩余空间足够。

工具安装

1. 安装依赖。

   yum install -y python3-devel sqlite libabigail-devel python3-pip
   
   pip3 install pyyaml
   
   git clone https://github.com/lvc/japi-compliance-checker.git
   
   cd japi-compliance-checker
   
   make install prefix=/usr
   

   安装结果检测。

    japi-compliance-checker -test
   

   

2. 工具安装。

   git clone https://gitee.com/openeuler/oecp.git
   
   cd oecp
   
   pip3 install -r requirement
   

​

测试执行

1. 执行测试。

   python3 cli.py file1 file2
   

   说明：

   • file1: 基准ISO
     • file2: 待测评的ISO

2. 查看结果。

   在结果文件osv_data_summary.xlsx中查看测试结果。

   

平台操作指导

4.1 用户注册

4.2 企业认证

4.3 测评申请

4.4 测评审批

4.5 证书签发

用户注册登录

访问技术测评平台

在浏览器地址栏输入: https://certification.openeuler.org 进行访问，填写如下信息。

• 如已完成账号注册，可在①处填写账号密码登录平台。

• 如未注册账号，需点击②处进行账号注册，详见注册账号。

注册账号

注册页面填写手机号进行注册，并且需同意《openEuler隐私声明》和《兼容性协议》。

完成注册后会自动登录进平台，如下图。

完善个人信息

完善平台个人信息

首次登录时请先完善个人信息，点击页面右上角 “用户名（注册时填写的用户名）” -> “账号中心”。

点击修改，进入编辑界面，完善邮箱信息。

说明：邮箱后续和CLA邮箱关联，建议填写企业邮箱

签署CLA

点击首页的“CLA签署”或者访问“https://www.openeuler.org/zh/community/contribution/”，点击左下角的“openEuler社区贡献者许可协议”进入CLA签署页面。选择类型如下：

如果作为企业的员工进行技术测评，建议在公司政策允许情况下，签署“员工CLA”。进入签署页面后，需填写Gitee账号（用于后续欧拉相关仓库相关活动）、邮箱账号（必须和测评平台的邮箱账号一致）、姓名。

企业认证

在“个人中心”点击左下的“企业信息”，如下图。

点击“企业实名认证”进入提交页面，如下图。

需提交企业LOGO（透明底）、工商注册国家/地区、企业邮箱、上传营业执照。

说明：自动提取有一定的失败率，提取后请再次确认。确认无误后，点击“提交”完成企业认证。系统会自动根据提交的信息，确认企业信息是否有效。

测评申请

伙伴访问技术测评平台（https://certification.openeuler.org），点击“申请技术测评”, 根据提示，完善方案信息和测试环境信息。

欧拉兼容性技术测评要求适配多算力平台，因此，此处的算力平台需至少选择两个算力平台。

完善提交后，自动返回主页面，可在“测评申请”列表查看到对应的方案，点击方案，进入详情页查看方案详情和各个阶段的处理人。

测评审批

提交测试报告

提交测评申请后，会由社区的相关负责人进行方案的审批。

• 如果审批不通过，方案会驳回到提交人，此时提交人需查看驳回原因，修改后重新提交。
• 如果通过，则进入测试阶段，此时提交人需根据欧拉兼容性技术测评标准对方案进行测试，并提交测试报告。

上传后，创新中心及社区负责人会对测试报告进行审核，通过审核后，即可进入证书签发的流程，社区负责人对证书信息进行初审，确认证书信息与实际测试内容一致后通过审核，由伙伴进行证书确认。

证书确认

在openEuler社区和创新中心报告评审通过后，社区会进行证书初审，初审通过后，申请人需要进行证书确认，如下图所示：

申请人需要确认证书上软件的信息、测试环境信息等是否准确无误，确认准确无误后，需上传伙伴的签名/签章(透明底),用于后续证书生成。

申请人也可以点击“证书预览”，查看证书预览页面。

确认证书信息无误并且上传签名/签章后，点击提交即可。

证书签发

openEuler社区签发证书

申请人确认证书信息无误并上传签名/签章后，openEuler社区对证书的内容一致性和正确性进行最终审核，确认无误后，进行证书签发

发布兼容性清单

证书签发后，兼容性信息会自动发布到openEuler官网兼容性清单（https://www.openeuler.org/zh/compatibility/）

附录

修改商业软件测试安装和卸载命令

1. 修改安装命令

   vi $LKP_PATH/tests/compatibility-test
   

   修改72行的安装命令，将安装命令的执行结果保存到变量a中

   下面76行将出现"error"报错识别为失败，如安装过程失败提示非"error"字样，请根据实际情况修改。

   

2. 修改卸载命令

   vi $LKP_PATH/tests/compatibility-test
   

   修改208行的卸载命令，如无出现报错，即认为修改成功