本地大模型WindowsPC测试过程

硬件配置 处理器 11th Gen Intel(R) Core(TM) i7-11700 2.50GHz 2.50 GHz 机带 RAM 32.0 GB (31.7 GB 可用) 存储 238 GB SSD PM9A1 NVMe Samsung 256GB,932 GB HDD TOSHIBA DT01ACA100 显卡 Intel(R) UHD Graphics 750 (128 MB) 系统类型 64 位操作系统,基于 x64 的处理器 两种方式 Ollama和 LM Studio OLLAMA URL http://172.16.11.138:18080/ollama/api/chat METHOD POST BODY{model:DeepSeek-Coder-V2-Lite-Instruct-Q8_0,messages:[{role:assistant,content:11}]}LMStudio URL http://172.16.11.138:18080/lmstudio/api/v1/chat METHOD POST BODY{model:qwen3.5-0.8b,input:11?}本次搭建过程 安装LM Studio/Ollama https://ollama.com/download https://lmstudio.ai/download 模型下载 1LM Studio 通过https://huggingface.co/ 下载搜一个模型以Qwen3.5-0.8B为例 lmstudio-community/Qwen3.5-0.8B-GGUF 下载 C:\Users\admin\.lmstudio\models\Qwen3.5-0.8B-Q8_0.gguf 2Ollama 通过https://huggingface.co/ 下载搜一个模型以DKV2-Lite为例 DeepSeek-Coder-V2-Lite-Instruct-Q8_0-GGUF C:\Users\admin\.ollama\models\DeepSeek-Coder-V2-Lite-Instruct-Q8_0.gguf 加载模型 1、LM Studio 通过CMD 执行 lms load C:\Users\admin\.lmstudio\models\Qwen3.5-0.8B-Q8_0.gguf 也可以在models新建一个 Qwen3.5-0.8B-Q8_0 名的文件夹然后把.gguf文件复制进去 然后重启LM Studioload model 就能看到自己的模型 2、Ollama 新建C:\Users\admin\.ollama\models\Modelfile文件 内容FROM ./DeepSeek-Coder-V2-Lite-Instruct-Q8_0.gguf 然后CMD执行 ollama create DeepSeek-Coder-V2-Lite-Instruct-Q8_0-f Modelfile 启动Server LMStudio 默认端口 1234 Ollama 打开ollama应用 默认端口 11434 Nginx配置为了统一端口测试可以不配置 location /lmstudio/{proxy_pass http://127.0.0.1:1234/; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme;}location /ollama/{proxy_pass http://127.0.0.1:11434/; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme;}详细 图文示例见腾讯文档 https://docs.qq.com/doc/DQVZsYXpmU1dEcHdG