快速上手
本章通过一个简单的 Linux 问答任务,串联数据采集、链路查看和单条评测。完整的参数及维护方法见各功能章节。
前提条件
- 管理员已按照安装与维护通过 RPM 安装并启动平台,提供访问地址。
- 业务 Agent 所在 Linux 主机已具备 AcTrail 和官方
otel-http插件。 - 如果要完成评测,已准备模型服务地址、模型名和所需凭证。
登录并接入
- 打开平台地址,以自己的邮箱登录。
- 打开 配置 > 安装指导,复制当前账号的 Linux 命令。
- 在 AcTrail 所在主机执行该命令,按提示完成配置。
- 确认终端显示
已完成 AcTrail 数据对接配置。
接入脚本配置数据上报,不负责安装 AcTrail。首次接入的环境要求和完整步骤见登录和接入 Agent。
产生并查看一条 Trace
- 按 AcTrail 的使用方式,通过
actrailctl launch启动 Agent,执行任务:“Linux 中如何查看当前工作目录?”。 - 等待 Agent 回答。
- 在平台打开 运行观测 > 链路追踪,选择覆盖本次任务的时间范围。
- 搜索任务关键词,进入对应记录的详情。
- 核对输入、实际输出和执行状态;在调用树中选择节点,查看模型请求或工具调用。
结果应能与刚才的真实任务对应。已有示例数据不能证明本次接入成功。如果没有新记录,按常见问题检查账号、筛选和上报配置。
注册评测模型
- 打开 配置 > 模型注册,单击 新增模型或 注册首个模型。
- 填写供应商、Base URL、模型名和模型 API 密钥。
- 单击 测试连接并保存。
- 将可用模型 设为默认,核对 当前默认。
连接检查由平台服务端发起,并会实际调用模型。详细字段说明见注册模型。
创建第一次实验
- 打开 评测中心 > 实验,单击 新建实验。
- 输入名称
linux-answer-check,选择刚才执行任务的主 Agent,使用 无变量 · 单组。 - 在 关联 Trace 中仅勾选刚才已完成的记录。
- 在 预期答案 中找到该记录,单击 标注,填写
执行 pwd 命令。,再单击 保存,确认状态变为 已标注。 - 在 评估器 中选择 结果准确性。
- 单击 开始实验,进入实验详情。
- 等待该评估完成,再打开对应 Case 的详情,阅读分数和评分依据。
第一次实验只选择一条 Trace 和一个评估器,便于核对完成数量是否为 1。分数由模型根据实际回答判定,不要求得到某个固定数值;应确认评估成功、存在评分依据,且依据与实际输出一致。
保存可复用样本
需要将该任务作为后续检查样本时,在 Trace 详情单击 加入评测集,选择已有数据集或创建数据集,核对字段映射并保存。
将实际输出用作参考答案前,应先人工确认它正确。后续实验可使用 从数据集导入匹配复用参考答案,具体方法见管理评测数据集和运行评测实验。
文档捉虫