智能调优部署指南

准备工作

• 提前安装 openEuler Copilot System 命令行（智能 Shell）客户端

• 被调优机器需要为 openEuler 22.03 LTS-SP3

• 在需要被调优的机器上安装依赖

yum install -y sysstat perf

• 被调优机器需要开启 SSH 22端口

编辑配置文件

修改values.yaml文件的tune部分，将 enable 字段改为 True ，并配置大模型设置、 Embedding模型文件地址、以及需要调优的机器和对应机器上的 mysql 的账号名以及密码

vim /home/euler-copilot-framework/euler-copilot-helm/chart/agents/values.yaml

tune:
    # 【必填】是否启用智能调优Agent
    enabled: true
    # 镜像设置
    image:
      # 镜像仓库。留空则使用全局设置。
      registry: ""
      # 【必填】镜像名称
      name: euler-copilot-tune
      # 【必填】镜像标签
      tag: "0.9.1"
      # 拉取策略。留空则使用全局设置。
      imagePullPolicy: ""
    # 【必填】容器根目录只读
    readOnly: false
    # 性能限制设置
    resources: {}
    # Service设置
    service:
      # 【必填】Service类型，ClusterIP或NodePort
      type: ClusterIP
      nodePort: 
    # 大模型设置
    llm:
      # 【必填】模型地址（需要包含v1后缀）
      url: 
      # 【必填】模型名称
      name: ""
      # 【必填】模型API Key
      key: ""
      # 【必填】模型最大Token数
      max_tokens: 8096
    # 【必填】Embedding模型文件地址
    embedding: ""
    # 待优化机器信息
    machine:
      # 【必填】IP地址
      ip: ""
      # 【必填】Root用户密码
      # 注意：必需启用Root用户以密码形式SSH登录
      password: ""
    # 待优化应用设置
    mysql:
      # 【必填】数据库用户名
      user: "root"
      # 【必填】数据库密码
      password: ""

安装智能调优插件

helm install -n euler-copilot agents .

如果之前有执行过安装，则按下面指令更新插件服务

helm upgrade-n euler-copilot agents .

如果 framework未重启，则需要重启framework配置

kubectl delete pod framework-deploy-service-bb5b58678-jxzqr -n eulercopilot

测试

• 查看 tune 的 pod 状态

  NAME                                             READY   STATUS    RESTARTS   AGE
  authhub-backend-deploy-authhub-64896f5cdc-m497f   2/2     Running   0          16d
  authhub-web-deploy-authhub-7c48695966-h8d2p       1/1     Running   0          17d
  pgsql-deploy-databases-86b4dc4899-ppltc           1/1     Running   0          17d
  redis-deploy-databases-f8866b56-kj9jz             1/1     Running   0          17d
  mysql-deploy-databases-57f5f94ccf-sbhzp           2/2     Running   0          17d
  framework-deploy-service-bb5b58678-jxzqr          2/2     Running   0          16d
  rag-deploy-service-5b7887644c-sm58z               2/2     Running   0          110m
  vectorize-deploy-service-57f5f94ccf-sbhzp         2/2     Running   0          17d
  web-deploy-service-74fbf7999f-r46rg               1/1     Running   0          2d
  tune-deploy-agents-5d46bfdbd4-xph7b               1/1     Running   0          2d
  

• pod启动失败排查办法

  • 检查 euler-copilot-tune 目录下的 openapi.yaml 中 servers.url 字段，确保调优服务的启动地址被正确设置
  • 检查 $plugin_dir 插件文件夹的路径是否配置正确，该变量位于 euler-copilot-helm/chart/euler_copilot/values.yaml 中的 framework模块，如果插件目录不存在，需新建该目录，并需要将该目录下的 euler-copilot-tune 文件夹放到 $plugin_dir 中。
  • 检查sglang的地址和key填写是否正确，该变量位于 vim /home/euler-copilot-framework/euler-copilot-helm/chart/euler_copilot/values.yaml

    # 用于Function Call的模型
    scheduler:
      # 推理框架类型
      backend: sglang
      # 模型地址
      url: ""
      # 模型 API Key
      key: ""
    # 数据库设置
  

• 命令行客户端使用智能调优

  具体使用可参考 openEuler Copilot System 命令行（智能插件：智能调优）