常见问题

openEuler Intelligence 常见问题与解决方法-网络环境下部署

1. 解决 Hugging Face 连接错误

python
urllib3.exceptions.NewConnectionError: urllib3.connection.HTTPSConnection object, Failed to establish a new connection: [Errno 101] Network is unreachable

解决方案

  • 更新 huggingface_hub 包到最新版本。

    bash
    pip3 install -U huggingface_hub
  • 如果网络问题依旧存在,可以尝试使用镜像站点作为端点。

    bash
    export HF_ENDPOINT=https://hf-mirror.com

2. 在 RAG 容器中调用问答接口

bash
curl -k -X POST "http://localhost:9988/kb/get_answer" \
     -H "Content-Type: application/json" \
     -d '{"question": "您的问题", "kb_sn": "default_test", "fetch_source": true}'

3. 解决 helm upgrade 错误

text
Error: UPGRADE FAILED: Kubernetes cluster unreachable

解决方案

bash
echo "export KUBECONFIG=/etc/rancher/k3s/k3s.yaml" >> /root/.bashrc
source /root/.bashrc

4. 查看 Pod 日志失败

解决方案

bash
cat /etc/systemd/system/k3s.service.env  # 确认 no_proxy 包含本机 IP

5. GPU 环境流式回复问题

解决方案

bash
pip install pydantic==1.10.13
# 请求中将 "stream": true 改为 false

6. sglang 模型部署

bash
conda create --prefix=/root/py310 python==3.10.14
conda activate /root/py310
pip install "sglang[all]==0.3.0"
pip install flashinfer -i https://flashinfer.ai/whl/cu121/torch2.4/

python -m sglang.launch_server \
    --served-model-name Qwen2.5-32B \
    --model-path Qwen2.5-32B-Instruct-AWQ \
    --host 0.0.0.0 \
    --port 8001 \
    --api-key "sk-12345" \
    --mem-fraction-static 0.5 \
    --tp 8

7. 获取 Embedding

bash
curl -k -X POST http://localhost:11434/v1/embeddings \
     -H "Content-Type: application/json" \
     -d '{"input": "The food was delicious...", "model": "bge-m3", "encoding_format": "float"}'

8. 生成证书

为了生成自签名证书,首先下载 mkcert工具,然后运行以下命令:

bash
mkcert -install
mkcert example.com

最后,将生成的证书和私钥拷贝到 values.yaml 中, 并应用至 Kubernetes Secret.

bash
vim /home/euler-copilot-framework_openeuler/deploy/common/chart_ssl/traefik-secret.yaml
bash
kubectl apply -f traefik-secret.yaml

9. 资源不足时,所有pod状态pending?

bash
kubectl top nodes
df -h  # 确保磁盘空间 >30%

参考该链接挂载空间较大的磁盘How to move k3s data to another location

10. 无法插网线的离线环境安装k3s后启动失败?

k3s无法找到route和ipv6_route,报错:"no default routes found in '/proc/net/route' or '\proc/net\ipv6_route'",无法使用k3s,可以通过创建创建虚拟网络接口配置解决

解决办法:

bash
# 注意:服务器器显示时间需要和当前网络时间保持一致
mkdir -p /etc/systemd/system/k3s.service.d/
cat <<EOF | sudo tee /etc/systemd/system/k3s.service.d/override.conf
[Service]
ExecStartPre=/sbin/ip link add dummy0 type dummy
ExecStartPre=/sbin/ip addr add 203.0.113.254/31 dev dummy0
ExecStartPre=/sbin/ip link set dummy0 up
ExecStartPre=/sbin/ip route add default via 203.0.113.254 dev dummy0
EOF
systemctl daemon-reload
systemctl restart k3s

11. x86架构且CPU型号E系列的服务器知识库文件解析至71%失败?

OpenGauss数据库的指令集加速特性默认开启,其对运行环境有特定要求:在x86架构下,Docker镜像中的OpenGauss服务需要CPU支持AVX512指令集;在ARM架构下则需要支持Neon指令集。由于x86架构且CPU型号E系列的服务器是低功耗x86计算,仅支持AVX2指令集,不支持AVX512,导致在执行数据插入操作时出现指令集不兼容错误。

解决办法: 由于不加指令集性能会受限,x86环境下如果环境不支持指令集加速,使用l2距离构建索引并查询,需要单独构建rag镜像,不能确保准确率是否会下降,建议更换支持AVX512的CPU型号进行部署。

bash
# 查看是否支持avx512:
cat /proc/cpuinfo| grep avx512
lscpu | grep -i avx

12. 工作流理解上下文耗费时间很久?

大模型使用带reasoning的模型,例如deepseek-r1-distill-qwen32B

解决办法:

更换无思考过程的模型,不支持使用Deepseek R1系列和Qwen3系列