注册模型
模型注册用于配置评测任务调用的大语言模型。查看已经上报的链路数据不要求先注册模型。
平台接入 API Key 用于 Agent 数据上报;本章的模型 API 密钥由模型服务提供方颁发,两者用途不同。
前提条件
- 已登录 Agent Insight。
- 已取得模型服务的 Base URL、模型名和所需的鉴权凭证。
- Agent Insight 服务端能够访问模型服务。
- 自建或网关模型提供兼容 OpenAI Chat Completions 的接口。
新增模型
在左侧导航栏选择 配置 > 模型注册。
单击 新增模型。尚未注册模型时,也可以单击 注册首个模型。
搜索并选择模型供应商。自建或网关服务可选择 LocalAI 或 Custom(OpenAI Compatible)。
填写连接信息。
字段 填写方法 配置名称 容易识别的名称,例如 evaluation-model。供应商 选择实际供应商或 Custom(OpenAI Compatible)。 Base URL 模型服务地址,以供应商实际接口为准;保留服务方要求的 /v1等前缀,无需填写末尾的/chat/completions路径。模型名 服务端实际提供的模型标识。 API 密钥 模型服务方提供的凭证。Custom 可按服务配置留空。 自定义请求头 Custom 可填写网关要求的 HTTP 请求头,例如鉴权头或租户标识。 单击 测试连接并保存。
等待页面显示 已保存,然后在模型列表中确认新增配置。
保存前平台会发起一次简短模型请求;连接测试成功后才保存。测试失败时,按错误提示调整配置后重试。测试调用可能产生模型服务提供方的费用。
设置默认模型
- 在模型列表中找到可用的目标模型。
- 单击该模型的 设为默认。
- 在右侧 当前默认 区域核对名称、Provider、Model 和 Base URL。
默认模型用于未显式指定模型的相关任务。首个用户模型在没有默认配置时会成为默认选择;管理员也可能已经预置模型,因此新增后应检查 当前默认 的实际显示。
验证连接
- 在右侧 健康检查 区域单击 重新检查。
- 等待检查结束。
- 确认目标模型显示可用状态;失败时按下面的常见问题排查。
连接检查会实际请求模型服务。页面初始显示的状态不能代替本次连接检查的结果。
更新或删除模型
更新连接信息
- 在目标模型卡片上单击 编辑。
- 修改需要更新的字段。
- 单击 测试连接并保存。
- 返回列表,确认新配置已保存。
已保存的密钥以掩码显示。保持掩码不变会沿用原密钥;需要更换时,先清空输入框,再输入新密钥。带有 系统默认 标记的管理员预置模型没有编辑或删除入口,由管理员修改服务端配置。
删除模型
- 如果目标模型是默认模型,先将其他可用模型 设为默认。
- 在待删除模型卡片上单击 删除。
- 在确认框中核对模型名称。
- 单击 删除。
- 确认模型列表中已无该配置。
常见问题
| 现象 | 处理方法 |
|---|---|
| 连接测试失败 | 确认平台服务端可访问 Base URL,模型名存在,凭证有效。 |
| 自建或网关服务无法连接 | 确认接口兼容 OpenAI Chat Completions,并填写网关要求的自定义请求头。 |
| 配置已保存,任务仍提示无可用模型 | 检查 当前默认;在相关任务中确认选用的模型配置。 |
| 浏览器可以访问模型地址,但连接测试失败 | 测试由 Agent Insight 服务端发起,应检查服务端网络、代理和服务端可见的地址。 |
| API 密钥只显示圆点或掩码 | 这是保存后的显示方式;保留原值可继续使用,更换时输入新凭证。 |
文档捉虫