跳转到内容
严选跨境网络服务与流媒体推荐
实机测速保障 · 专属折扣
声明:以上服务由影迷漫游评测实验室进行晚高峰抽测与流媒体解锁验证。专属链接包含推广支持,不增加您的购买成本。

Ollama 本地大模型:三类人三种装法,装前先对号入座 ​

Local AI Deployment

Ollama 的安装本身只有一行命令,真正容易装错的地方在前面:没先想清楚这台机器是用来干什么的。笔记本上尝鲜、NAS 上 24 小时挂着、VPS 上给多人用,是三种不同的工程,硬件选型、模型尺寸和安全措施全都不一样。先对号,再动手。

第一步:你是哪一类 ​

场景典型机器核心诉求先定下来的事
尝鲜型个人笔记本,有无独显均可能跑起来、能对话就行选最小可用的模型,别一上来就拉大参数
常驻型家用 NAS 或旧电脑 24 小时开机稳定、省电、随时能用内存和散热优先,模型选中等尺寸
服务型云上 VPS,对外提供访问多人可用、不能裸奔安全措施和访问控制先于模型本身

对号之后再看硬件表,顺序不能反:先有场景,再有配置。

第二步:硬件与模型尺寸对应表 ​

Ollama 会按硬件自动挑量化版本,但“能跑”和“好用”之间差得很远。下面这张表按经验给,不保证精确到每一台机器,只保证方向不错:

硬件条件建议起步模型预期体验
无独显、8GB 内存1.5B~3B 级别小模型打字速度尚可,只适合问答和摘要
无独显、16GB 内存7B~8B 级别日常对话流畅,复杂推理会慢
有 8GB 显存独显7B~14B 级别大多数任务都够用,响应明显变快
16GB 以上显存或 32GB 内存32B 级别长文本和代码任务才值得上这个档

一条铁律:显存不够时别硬上大模型,量化到失真还不如小模型答得稳。先从小档跑通全流程,觉得不够再往上加。

第三步:三种装法的步骤差异 ​

尝鲜型:装完即聊 ​

macOS 和 Windows 直接去 Ollama 官网下载安装包;Linux 一行命令装好服务。装完先跑一个最小模型确认链路通:

bash
ollama run deepseek-r1:7b

能对话就说明 Ollama 本体没问题,剩下的都是界面和模型选择题。

常驻型:加一个网页界面 ​

命令行能聊,但家里人不会用命令行。这时补一个 Open WebUI,用 Docker 一条命令起起来:

bash
docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

起好后浏览器打开 http://你的IP:3000,注册管理员账号,界面就和平时用的聊天产品差不多了。常驻型还要多做一步:把 Ollama 和 WebUI 设成开机自启,否则每次断电重启都要手动拉起来。

服务型:安全先于上线 ​

VPS 对外服务时,Ollama 和 WebUI 都不能直接裸露在公网。正确顺序是:先把访问入口收敛,再谈模型。两条常规路线二选一:

无论走哪条,WebUI 的登录账号密码必须开,这是底线。没做这一步就对外发布,等于把私人对话敞开给全网扫描器。

上线前安全与性能清单 ​

模型怎么选:从任务倒推 ​

不知道拉哪个模型时,别按名气选,按任务选。推理、数学这类需要一步步想的任务优先选推理向模型;日常对话、翻译、摘要选中等通用模型;代码补全和改写则看模型在代码任务上的口碑。像 DeepSeek 这类推理模型适合需要“想清楚再回答”的场景,但速度相对慢,不适合所有事都用它。先定任务,再定模型,最后才定尺寸,这个顺序能省掉很多返工。


延伸阅读 ​

免责声明

本文仅供技术交流和学习参考。涉及第三方服务的链接可能包含 sponsored 标记,请自行核实服务条款、价格和可用性,并遵守当地法律法规。