Ollama 本地大模型:三类人三种装法,装前先对号入座
Ollama 的安装本身只有一行命令,真正容易装错的地方在前面:没先想清楚这台机器是用来干什么的。笔记本上尝鲜、NAS 上 24 小时挂着、VPS 上给多人用,是三种不同的工程,硬件选型、模型尺寸和安全措施全都不一样。先对号,再动手。
第一步:你是哪一类
| 场景 | 典型机器 | 核心诉求 | 先定下来的事 |
|---|---|---|---|
| 尝鲜型 | 个人笔记本,有无独显均可 | 能跑起来、能对话就行 | 选最小可用的模型,别一上来就拉大参数 |
| 常驻型 | 家用 NAS 或旧电脑 24 小时开机 | 稳定、省电、随时能用 | 内存和散热优先,模型选中等尺寸 |
| 服务型 | 云上 VPS,对外提供访问 | 多人可用、不能裸奔 | 安全措施和访问控制先于模型本身 |
对号之后再看硬件表,顺序不能反:先有场景,再有配置。
第二步:硬件与模型尺寸对应表
Ollama 会按硬件自动挑量化版本,但“能跑”和“好用”之间差得很远。下面这张表按经验给,不保证精确到每一台机器,只保证方向不错:
| 硬件条件 | 建议起步模型 | 预期体验 |
|---|---|---|
| 无独显、8GB 内存 | 1.5B~3B 级别小模型 | 打字速度尚可,只适合问答和摘要 |
| 无独显、16GB 内存 | 7B~8B 级别 | 日常对话流畅,复杂推理会慢 |
| 有 8GB 显存独显 | 7B~14B 级别 | 大多数任务都够用,响应明显变快 |
| 16GB 以上显存或 32GB 内存 | 32B 级别 | 长文本和代码任务才值得上这个档 |
一条铁律:显存不够时别硬上大模型,量化到失真还不如小模型答得稳。先从小档跑通全流程,觉得不够再往上加。
第三步:三种装法的步骤差异
尝鲜型:装完即聊
macOS 和 Windows 直接去 Ollama 官网下载安装包;Linux 一行命令装好服务。装完先跑一个最小模型确认链路通:
ollama run deepseek-r1:7b能对话就说明 Ollama 本体没问题,剩下的都是界面和模型选择题。
常驻型:加一个网页界面
命令行能聊,但家里人不会用命令行。这时补一个 Open WebUI,用 Docker 一条命令起起来:
docker run -d -p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main起好后浏览器打开 http://你的IP:3000,注册管理员账号,界面就和平时用的聊天产品差不多了。常驻型还要多做一步:把 Ollama 和 WebUI 设成开机自启,否则每次断电重启都要手动拉起来。
服务型:安全先于上线
VPS 对外服务时,Ollama 和 WebUI 都不能直接裸露在公网。正确顺序是:先把访问入口收敛,再谈模型。两条常规路线二选一:
- 用 Cloudflare Tunnel 把 WebUI 藏到隧道后面,不开任何入站端口;
- 或者用 Nginx 反向代理 + 强制登录,参考 Nginx 反向代理 的常规配置。
无论走哪条,WebUI 的登录账号密码必须开,这是底线。没做这一步就对外发布,等于把私人对话敞开给全网扫描器。
上线前安全与性能清单
模型怎么选:从任务倒推
不知道拉哪个模型时,别按名气选,按任务选。推理、数学这类需要一步步想的任务优先选推理向模型;日常对话、翻译、摘要选中等通用模型;代码补全和改写则看模型在代码任务上的口碑。像 DeepSeek 这类推理模型适合需要“想清楚再回答”的场景,但速度相对慢,不适合所有事都用它。先定任务,再定模型,最后才定尺寸,这个顺序能省掉很多返工。
延伸阅读
免责声明
本文仅供技术交流和学习参考。涉及第三方服务的链接可能包含 sponsored 标记,请自行核实服务条款、价格和可用性,并遵守当地法律法规。