快速上手 ​

本章通过一个简单的 Linux 问答任务,串联数据采集、链路查看和单条评测。完整的参数及维护方法见各功能章节。

前提条件 ​

  • 管理员已按照安装与维护通过 RPM 安装并启动平台,提供访问地址。
  • 业务 Agent 所在 Linux 主机已具备 AcTrail 和官方 otel-http 插件。
  • 如果要完成评测,已准备模型服务地址、模型名和所需凭证。

登录并接入 ​

  1. 打开平台地址,以自己的邮箱登录。
  2. 打开 配置 > 安装指导,复制当前账号的 Linux 命令。
  3. 在 AcTrail 所在主机执行该命令,按提示完成配置。
  4. 确认终端显示 已完成 AcTrail 数据对接配置。

接入脚本配置数据上报,不负责安装 AcTrail。首次接入的环境要求和完整步骤见登录和接入 Agent。

产生并查看一条 Trace ​

  1. 按 AcTrail 的使用方式,通过 actrailctl launch 启动 Agent,执行任务:“Linux 中如何查看当前工作目录?”。
  2. 等待 Agent 回答。
  3. 在平台打开 运行观测 > 链路追踪,选择覆盖本次任务的时间范围。
  4. 搜索任务关键词,进入对应记录的详情。
  5. 核对输入、实际输出和执行状态;在调用树中选择节点,查看模型请求或工具调用。

结果应能与刚才的真实任务对应。已有示例数据不能证明本次接入成功。如果没有新记录,按常见问题检查账号、筛选和上报配置。

注册评测模型 ​

  1. 打开 配置 > 模型注册,单击 新增模型或 注册首个模型。
  2. 填写供应商、Base URL、模型名和模型 API 密钥。
  3. 单击 测试连接并保存。
  4. 将可用模型 设为默认,核对 当前默认。

连接检查由平台服务端发起,并会实际调用模型。详细字段说明见注册模型。

创建第一次实验 ​

  1. 打开 评测中心 > 实验,单击 新建实验。
  2. 输入名称 linux-answer-check,选择刚才执行任务的主 Agent,使用 无变量 · 单组。
  3. 在 关联 Trace 中仅勾选刚才已完成的记录。
  4. 在 预期答案 中找到该记录,单击 标注,填写 执行 pwd 命令。,再单击 保存,确认状态变为 已标注。
  5. 在 评估器 中选择 结果准确性。
  6. 单击 开始实验,进入实验详情。
  7. 等待该评估完成,再打开对应 Case 的详情,阅读分数和评分依据。

第一次实验只选择一条 Trace 和一个评估器,便于核对完成数量是否为 1。分数由模型根据实际回答判定,不要求得到某个固定数值;应确认评估成功、存在评分依据,且依据与实际输出一致。

保存可复用样本 ​

需要将该任务作为后续检查样本时,在 Trace 详情单击 加入评测集,选择已有数据集或创建数据集,核对字段映射并保存。

将实际输出用作参考答案前,应先人工确认它正确。后续实验可使用 从数据集导入匹配复用参考答案,具体方法见管理评测数据集和运行评测实验。