windows+wsl+OpenClaw 安装指南(五):大模型配置实战

张开发
2026/4/17 0:50:33 15 分钟阅读

分享文章

windows+wsl+OpenClaw 安装指南(五):大模型配置实战
windowswslOpenClaw 安装指南五大模型配置实战 —— Ollama 本地部署与腾讯混元 API作者技术实践派标签Ollama | 腾讯混元 | 大模型部署 | GPU加速 | API配置难度⭐⭐⭐☆☆中级阅读时间15分钟一、前言OpenClaw 的核心能力来自大语言模型LLM。本篇文章将详细介绍两种主流方案方案优点缺点适用场景Ollama 本地模型数据不出本机、无网络延迟、免费需要显卡、配置复杂隐私要求高、有独立显卡腾讯混元 API即开即用、模型强大、无需硬件需付费、数据上云快速体验、企业应用二、方案一Ollama 本地模型部署2.1 Ollama 简介Ollama 是一个简化本地大模型运行工具让在本地运行 Llama、Qwen 等模型变得像docker run一样简单。架构示意OpenClaw (WSL) ──HTTP──► Ollama (Windows) ──► llama.cpp ──► GPU/CPU2.2 安装 Ollama Windows 版访问官网下载安装https://ollama.com/download/windows安装完成后Ollama 会安装到C:\Users\用户名\AppData\Local\Programs\Ollama添加开机自启动服务默认监听127.0.0.1:114342.3 配置 Ollama 监听 0.0.0.0默认情况下 Ollama 只监听本地回环WSL 无法访问。需要修改为监听所有网卡# 设置环境变量用户级[Environment]::SetEnvironmentVariable(OLLAMA_HOST,0.0.0.0:11434,User)[Environment]::SetEnvironmentVariable(OLLAMA_ORIGINS,*,User)# 重启 Ollama 服务生效# 方法1任务管理器结束 ollama.exe 进程它会自动重启# 方法2重启电脑验证配置# 查看端口监听netstat-an|findstr 11434# 应显示 0.0.0.0:11434 而不是 127.0.0.1:114342.4 下载推荐模型根据你的显存大小选择模型# 8GB 显存推荐如 RTX 4060ollama pull ministral-3:3b# 3B参数占用约 4GB 显存ollama pull llama3.2:3b# 轻量级速度快# 12GB 显存可选ollama pull qwen2.5:7b# 中文能力强ollama pull mistral:7b# 综合能力好# 纯 CPU 运行无显卡ollama pull phi3:3.8b# 微软小模型CPU 友好2.5 创建自定义模型ModelfileOllama 支持通过Modelfile自定义模型参数# 文件ministral-rtx4060.modelfile FROM ministral-3:3b # 上下文长度越大越占显存 PARAMETER num_ctx 8192 # GPU 层数越大 GPU 利用率越高 PARAMETER num_gpu 38 # CPU 线程数 PARAMETER num_thread 6 # 系统提示词 SYSTEM 你是一个智能助手请用中文简洁明了地回答问题。创建模型ollama create ministral-rtx4060-f ministral-rtx4060.modelfile参数调优建议显存num_ctxnum_gpu说明8GB409638保守配置稳定运行8GB819232长上下文需测试12GB819240标准配置16GB1638440高性能配置2.6 OpenClaw 配置 Ollama在 WSL 中执行# 获取 Windows IP从 WSL 视角看Windows 是默认网关WINDOWS_IP$(iproute show default|grep-oP(?via )\d\.\d\.\d\.\d)echoWindows IP:$WINDOWS_IP# 配置 Ollama 连接openclaw configsetmodels.providers.ollama.baseUrlhttp://${WINDOWS_IP}:11434# 设置默认模型openclaw configsetagents.defaults.model.primaryollama/ministral-rtx4060# 重启 Gateway 生效systemctl--userrestart openclaw-gateway.service验证连接# 在 WSL 中测试 Ollama 连通性curlhttp://$(iproute|grepdefault|awk{print $3}):11434/api/tags2.7 RTX 4060 优化实战以我实测的 RTX 4060 8GB 配置为例ModelfileFROM ministral-3:3b PARAMETER num_ctx 8192 PARAMETER num_gpu 38 PARAMETER num_thread 6 PARAMETER temperature 0.7 SYSTEM 你是一个专业的编程助手擅长回答技术问题。请用中文回答。性能表现任务速度显存占用简单问答~50 tokens/s~5GB代码生成~30 tokens/s~6GB长文本分析~20 tokens/s~7.5GB三、方案二腾讯混元大模型3.1 为什么选择腾讯混元国内可用无需科学上网中文优化在中文理解上表现优异API 兼容支持 OpenAI 格式接入简单稳定可靠腾讯云基础设施保障3.2 获取 API Key访问腾讯云控制台https://console.cloud.tencent.com/lkeap创建 API Key复制sk-开头的密钥⚠️安全提醒API Key 相当于密码不要泄露3.3 OpenClaw 配置腾讯混元编辑配置文件~/.openclaw/openclaw.json{models:{providers:{tencent-coding-plan:{baseUrl:https://api.lkeap.cloud.tencent.com/coding/v3,apiKey:sk-your-api-key-here,api:openai-completions,models:[{id:hunyuan-turbos,name:Hunyuan TurboS,contextWindow:32000,maxTokens:16000},{id:hunyuan-2.0-instruct,name:Hunyuan 2.0,contextWindow:128000,maxTokens:16000}]}}},agents:{defaults:{model:{primary:tencent-coding-plan/hunyuan-turbos}}}}或者使用命令行配置# 设置 baseUrlopenclaw configsetmodels.providers.tencent-coding-plan.baseUrl\https://api.lkeap.cloud.tencent.com/coding/v3# 设置 API Keyopenclaw configsetmodels.providers.tencent-coding-plan.apiKey\sk-your-api-key# 设置 API 类型openclaw configsetmodels.providers.tencent-coding-plan.api\openai-completions# 设置默认模型openclaw configsetagents.defaults.model.primary\tencent-coding-plan/hunyuan-turbos3.4 腾讯混元模型选择模型上下文特点适用场景hunyuan-turbos32K速度快、性价比高日常对话、代码生成hunyuan-2.0-instruct128K能力强、支持超长文本长文档分析、总结hunyuan-t132K推理能力强复杂问题求解tc-code-latest16K代码优化编程辅助3.5 重启并验证# 重启 Gatewaysystemctl--userrestart openclaw-gateway.service# 查看日志验证是否成功调用journalctl--user-uopenclaw-gateway.service-f**成功标志**日志中出现模型调用记录无 API 错误。四、双模型切换实战4.1 为什么要配置多个模型成本考虑简单任务用本地模型复杂任务用在线模型隐私分级敏感数据走本地公开数据走在线备份机制一个不可用时自动切换到另一个4.2 配置多模型{models:{providers:{ollama:{baseUrl:http://172.20.0.1:11434,models:[{id:ministral-rtx4060,name:Local Model}]},tencent-coding-plan:{baseUrl:https://api.lkeap.cloud.tencent.com/coding/v3,apiKey:sk-xxx,api:openai-completions,models:[{id:hunyuan-turbos,name:Tencent Hunyuan}]}}},agents:{defaults:{model:{primary:ollama/ministral-rtx4060,fallback:tencent-coding-plan/hunyuan-turbos}}}}4.3 动态切换模型# 切换到本地模型openclaw configsetagents.defaults.model.primaryollama/ministral-rtx4060# 切换到腾讯混元openclaw configsetagents.defaults.model.primarytencent-coding-plan/hunyuan-turbos# 每次切换后重启 Gatewaysystemctl--userrestart openclaw-gateway.service五、模型配置常见问题5.1 Ollama 连接失败症状OpenClaw 无法调用本地模型排查步骤# 1. 确认 Ollama 运行netstat-an|findstr11434# Windows# 2. 确认 WSL 能访问 Windowsping$(iproute|grepdefault|awk{print $3})# WSL# 3. 测试 Ollama APIcurlhttp://windows-ip:11434/api/tags# 4. 检查防火墙# Windows 防火墙需放行 11434 端口5.2 腾讯混元 API 错误症状返回 401 或 403 错误排查# 检查 API Key 是否正确openclaw config get models.providers.tencent-coding-plan.apiKey# 检查 baseUrl 是否为 v3 接口# 正确https://api.lkeap.cloud.tencent.com/coding/v3# 错误https://api.lkeap.cloud.tencent.com/v15.3 模型回复异常现象原因解决回复很乱num_ctx 太大导致显存不足减小到 4096回复很慢GPU 层数设置不当调整 num_gpu中文乱码模型本身问题换模型或加 SYSTEM 提示六、配置脚本附件6.1 Ollama 一键配置脚本#!/bin/bash# configure-ollama.sh# 获取 Windows IPWINDOWS_IP$(iproute show default|grep-oP(?via )\d\.\d\.\d\.\d)MODEL_NAME${1:-ministral-rtx4060}echo配置 Ollama 连接...echoWindows IP:$WINDOWS_IPecho模型:$MODEL_NAMEopenclaw configsetmodels.providers.ollama.baseUrlhttp://${WINDOWS_IP}:11434openclaw configsetagents.defaults.model.primaryollama/${MODEL_NAME}systemctl--userrestart openclaw-gateway.serviceechoOllama 配置完成6.2 腾讯混元配置脚本#!/bin/bash# configure-tencent.shAPI_KEY$1MODEL${2:-hunyuan-turbos}if[-z$API_KEY];thenecho用法: ./configure-tencent.sh api-key [model-name]exit1fipython3EOF import json config_path $HOME/.openclaw/openclaw.json with open(config_path, r) as f: config json.load(f) config[models] { providers: { tencent-coding-plan: { baseUrl: https://api.lkeap.cloud.tencent.com/coding/v3, apiKey: $API_KEY, api: openai-completions, models: [ {id: $MODEL, name: Tencent Model, contextWindow: 32000, maxTokens: 16000} ] } } } config[agents][defaults][model][primary] tencent-coding-plan/$MODEL with open(config_path, w) as f: json.dump(config, f, indent2) print(腾讯混元配置完成) EOFsystemctl--userrestart openclaw-gateway.service七、总结本文详细介绍了 OpenClaw 的两种大模型方案对比项Ollama 本地腾讯混元 API部署难度⭐⭐⭐⭐运行成本电费硬件按量计费数据隐私⭐⭐⭐⭐⭐⭐⭐⭐模型能力⭐⭐⭐⭐⭐⭐⭐⭐响应速度⭐⭐⭐⭐⭐⭐⭐建议有 RTX 4060/3060 显卡 → 本地 Ollama快速体验/企业应用 → 腾讯混元两者结合 → 本地日常云端复杂任务下篇预告《windowswslOpenClaw 安装指南六飞书集成与企业部署》—— 详细讲解飞书开放平台配置、权限管理、群聊机器人集成等企业级应用场景。参考文献Ollama 官方资源[1] Ollama. Ollama Official Website. https://ollama.com [EB/OL]. 2024.[2] Ollama GitHub Repository. https://github.com/ollama/ollama [EB/OL]. 2024.[3] Ollama 模型库. https://ollama.com/library [EB/OL]. 2024.[4] Ollama 文档. https://github.com/ollama/ollama/blob/main/docs/README.md [EB/OL]. 2024.[5] Ollama Modelfile 参考. https://github.com/ollama/ollama/blob/main/docs/modelfile.md [EB/OL]. 2024.腾讯混元大模型[6] 腾讯云. 腾讯混元大模型产品页. https://cloud.tencent.com/product/hunyuan [EB/OL]. 2024.[7] 腾讯云. 大模型知识引擎 API 文档. https://cloud.tencent.com/document/product/1729 [EB/OL]. 2024.[8] 腾讯云. API Key 管理指南. https://cloud.tencent.com/document/product/1729/111052 [EB/OL]. 2024.[9] OpenAI API 参考文档兼容格式. https://platform.openai.com/docs/api-reference [EB/OL]. 2024.LLM 与推理优化[10] llama.cpp GitHub. https://github.com/ggerganov/llama.cpp [EB/OL]. 2024.[11] Hugging Face. Transformer Models Documentation. https://huggingface.co/docs/transformers/ [EB/OL]. 2024.[12] Mistral AI Documentation. https://docs.mistral.ai/ [EB/OL]. 2024.本地大模型部署[13] NVIDIA. CUDA 文档中心. https://docs.nvidia.com/cuda/ [EB/OL]. 2024.[14] NVIDIA. cuBLAS 库文档. https://docs.nvidia.com/cuda/cublas/ [EB/OL]. 2024.[15] Vulkan Compute. https://www.vulkan.org/ [EB/OL]. 2024.推荐模型与参数调优[16] Qwen 官方文档. https://qwen.readthedocs.io/ [EB/OL]. 2024.[17] Meta AI. Llama 模型使用指南. https://ai.meta.com/llama/ [EB/OL]. 2024.[18] 微软 Phi 系列模型. https://huggingface.co/microsoft [EB/OL]. 2024.GPU 性能优化[19] NVIDIA. GPU 性能调优指南. https://docs.nvidia.com/deeplearning/performance/ [EB/OL]. 2024.[20] NVIDIA System Management Interface (nvidia-smi). https://developer.nvidia.com/nvidia-system-management-interface [EB/OL]. 2024.LLM 上下文与参数[21] 上下文窗口(Context Window)技术解析. https://arxiv.org/abs/2309.00071 [J/OL]. arXiv preprint, 2023.[22] Transformer 架构详解. Vaswani, A., et al. “Attention is all you need.” NeurIPS 2017. https://arxiv.org/abs/1706.03762本文完敬请期待下篇。系列文章导航 上一篇04-自动化安装脚本完全解析-PowerShell与Bash实战待上传后添加链接 下一篇06-飞书集成与企业部署-打造团队AI助手待上传后添加链接 系列目录windowswslOpenClaw 安装指南觉得有帮助 点个赞支持一下⭐ 收藏备用✅ 关注博主不错过后续更新 有问题欢迎在评论区留言

更多文章