SpringBoot+LangChain4j+Ollama实现本地大模型语言LLM的搭建

张开发
2026/5/3 18:49:57 15 分钟阅读

分享文章

SpringBoot+LangChain4j+Ollama实现本地大模型语言LLM的搭建
一、Ollama基础概念1.1 什么是 Ollama?Ollama 是一个开源的、专注于在本地运行大型语言模型(LLM)的工具平台。它封装了模型下载、推理服务、API 暴露等环节,让你像运行普通软件一样运行大模型。1.2 核心特性一键运行模型:ollama runmodel模型管理:pull、list、cp、rm标准 API:提供兼容 OpenAI 格式的 HTTP API(默认端口 11434)支持多平台:Windows、macOS、Linux硬件加速:支持 NVIDIA GPU(CUDA)和 AMD GPU(ROCm)1.3 常用命令ollama serve 启动 Ollama 服务(常驻后台)ollama pull model 下载模型到本地ollama list 列出已下载的模型ollama run model 直接启动交互式对话ollama cp src dst 给模型创建别名二、Windows 环境安装 Ollama2.1 系统要求Windows 10/11 64位建议 16GB 以上内存(运行 7B 模型)磁盘空间至少 10GB(模型文件大小)2.2 安装步骤访问https://ollama.com/下载 W

更多文章