注册模型 ​

模型注册用于配置评测任务调用的大语言模型。查看已经上报的链路数据不要求先注册模型。

平台接入 API Key 用于 Agent 数据上报;本章的模型 API 密钥由模型服务提供方颁发,两者用途不同。

前提条件 ​

  • 已登录 Agent Insight。
  • 已取得模型服务的 Base URL、模型名和所需的鉴权凭证。
  • Agent Insight 服务端能够访问模型服务。
  • 自建或网关模型提供兼容 OpenAI Chat Completions 的接口。

新增模型 ​

  1. 在左侧导航栏选择 配置 > 模型注册。

  2. 单击 新增模型。尚未注册模型时,也可以单击 注册首个模型。

  3. 搜索并选择模型供应商。自建或网关服务可选择 LocalAI 或 Custom(OpenAI Compatible)。

  4. 填写连接信息。

    字段填写方法
    配置名称容易识别的名称,例如 evaluation-model。
    供应商选择实际供应商或 Custom(OpenAI Compatible)。
    Base URL模型服务地址,以供应商实际接口为准;保留服务方要求的 /v1 等前缀,无需填写末尾的 /chat/completions 路径。
    模型名服务端实际提供的模型标识。
    API 密钥模型服务方提供的凭证。Custom 可按服务配置留空。
    自定义请求头Custom 可填写网关要求的 HTTP 请求头,例如鉴权头或租户标识。
  5. 单击 测试连接并保存。

  6. 等待页面显示 已保存,然后在模型列表中确认新增配置。

保存前平台会发起一次简短模型请求;连接测试成功后才保存。测试失败时,按错误提示调整配置后重试。测试调用可能产生模型服务提供方的费用。

设置默认模型 ​

  1. 在模型列表中找到可用的目标模型。
  2. 单击该模型的 设为默认。
  3. 在右侧 当前默认 区域核对名称、Provider、Model 和 Base URL。

默认模型用于未显式指定模型的相关任务。首个用户模型在没有默认配置时会成为默认选择;管理员也可能已经预置模型,因此新增后应检查 当前默认 的实际显示。

验证连接 ​

  1. 在右侧 健康检查 区域单击 重新检查。
  2. 等待检查结束。
  3. 确认目标模型显示可用状态;失败时按下面的常见问题排查。

连接检查会实际请求模型服务。页面初始显示的状态不能代替本次连接检查的结果。

更新或删除模型 ​

更新连接信息 ​

  1. 在目标模型卡片上单击 编辑。
  2. 修改需要更新的字段。
  3. 单击 测试连接并保存。
  4. 返回列表,确认新配置已保存。

已保存的密钥以掩码显示。保持掩码不变会沿用原密钥;需要更换时,先清空输入框,再输入新密钥。带有 系统默认 标记的管理员预置模型没有编辑或删除入口,由管理员修改服务端配置。

删除模型 ​

  1. 如果目标模型是默认模型,先将其他可用模型 设为默认。
  2. 在待删除模型卡片上单击 删除。
  3. 在确认框中核对模型名称。
  4. 单击 删除。
  5. 确认模型列表中已无该配置。

常见问题 ​

现象处理方法
连接测试失败确认平台服务端可访问 Base URL,模型名存在,凭证有效。
自建或网关服务无法连接确认接口兼容 OpenAI Chat Completions,并填写网关要求的自定义请求头。
配置已保存,任务仍提示无可用模型检查 当前默认;在相关任务中确认选用的模型配置。
浏览器可以访问模型地址,但连接测试失败测试由 Agent Insight 服务端发起,应检查服务端网络、代理和服务端可见的地址。
API 密钥只显示圆点或掩码这是保存后的显示方式;保留原值可继续使用,更换时输入新凭证。