Ollama 本地部署与 GUI 界面

目录

• 1. 下载 Ollama
• 2. 启动 Ollama
• 3. 运行模型
• 4. Open WebUI：大模型交互界面
  • 4.1 安装和启动方式
  • 4.2 集成到本地浏览器
• 5. ChatBox：桌面客户端
  • 下载
  • 设置本地模型

---

本地跑大模型这件事，门槛已经降得很低了。下面是用 Ollama 在自己电脑上跑大模型，再配个 Web 界面的完整流程。

Ollama 是一个本地运行开源大语言模型的工具，把模型设置和配置都简化了，对 GPU 调用做了优化，跑模型相对省心。

• 官方文档：Ollama 官方文档

1. 下载 Ollama

• Linux 系统：

  • 基于 Debian 或 Ubuntu 的系统：

    curl https://ollama.ai/install.sh | sh
    

  • 基于 Red Hat 或 CentOS 的系统：

    curl -fsSL https://ollama.ai/install.sh | sh -s -- -b /usr/local/bin
    

• macOS 系统：

  • 用 Homebrew 安装：

    brew install ollama
    

• Windows 系统：

  • 去 Ollama 官方 GitHub Releases 页面下载最新的 Windows 安装包，下载完按安装向导走。

2. 启动 Ollama

下载完成后，打开命令行，按系统输入启动命令：

• Linux 和 macOS：

  ollama start
  

• Windows：在开始菜单找到 Ollama，点击"启动 Ollama"；或者在 CMD / PowerShell 里输入 ollama start。

3. 运行模型

Ollama 支持不少开源模型，按自己电脑性能挑就行。运行模型前要先下载，比如下载 llama2:7b：

ollama pull llama2:7b

运行 deepseek-r1:14b 的命令：

ollama run deepseek-r1:14b

配置低的话跑 llama2:7b 这类 7B 模型就够了；配置高可以上 deepseek-r1:14b 这类更大的模型，效果更好。

常用命令还有：

• 查看已下载的模型列表：

  ollama list
  

• 下载新模型，比如 llama3：

  ollama pull llama3
  

Ollama 也支持工具调用和多模态输入，走异步调用和 token 级流式输出。

---

命令行交互不太友好，下面配一个图形界面。

4. Open WebUI：大模型交互界面

Open WebUI 提供了一个 Web 界面，用来集成和访问大模型，可以在本地直接拿到搜索结果。

• 官方文档：Open WebUI 官方文档

4.1 安装和启动方式

Docker 安装和启动

用以下 Docker 命令启动 Open WebUI 容器：

docker run -d \
  -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  -e WEBUI_URL="https://<your-open-webui-url>" \
  ghcr.io/open-webui/open-webui:main

参数说明：

• -p 3000:8080：容器内部 8080 端口映射到主机的 3000 端口。
• --add-host=host.docker.internal:host-gateway：添加主机映射，方便容器内访问主机服务。
• -v open-webui:/app/backend/data：把容器内 /app/backend/data 目录挂载到主机的 open-webui 数据卷，用于持久化存储。
• --name open-webui：容器命名为 open-webui。
• --restart always：容器退出时自动重启。
• -e WEBUI_URL="https://<your-open-webui-url>"：设置 Open WebUI 的访问 URL。

Pip 安装和启动

先确认系统已经装好 Python 和 pip。

• 创建一个虚拟环境（可选但推荐）：

  python3 -m venv openwebui_env
  source openwebui_env/bin/activate
  

• 安装 Open WebUI：

  pip install open-webui
  

• 启动 Open WebUI：

  open-webui --url https://<your-open-webui-url>
  

从源代码安装和启动（用 uvicorn 启动）

• 克隆 Open WebUI 源码仓库：

  git clone https://github.com/open-webui/open-webui.git
  cd open-webui
  

• 创建虚拟环境并安装依赖：

  python3 -m venv openwebui_env
  source openwebui_env/bin/activate
  pip install -r requirements.txt
  

• 用 uvicorn 启动：

  uvicorn open_webui.main:app --host 0.0.0.0 --port 3000
  

4.2 集成到本地浏览器

以 Chrome 为例，把 Open WebUI 加成搜索引擎，用起来更顺手：

• 打开 Chrome 设置页面。
• 从侧边栏选"搜索引擎"，点"管理搜索引擎"。
• 点"添加"创建新的搜索引擎。
• 填写：
  • 搜索引擎：打开 WebUI 搜索
  • 关键字：WebUI（或你喜欢的关键字）
  • URL 用 ％s 代替查询：https://<your-open-webui-url>/?q=%s
• 点"添加"保存。

设好后，在地址栏输入关键字和查询内容，就能直接通过 Open WebUI 拿到结果。

5. ChatBox：桌面客户端

如果不想跑 Web 服务，ChatBox 是个轻量的桌面客户端，直接连本地 Ollama 就行。

下载

• 地址：ChatBox 官方下载

设置本地模型

• 本地用 ollama 下载模型并运行

  

  

• 选择本地下载和运行的模型

  

• 点保存，就能用本地跑的 deepseek-r1:14b 模型了

---

Ollama + Open WebUI（或 ChatBox）组合起来，本地跑大模型 + 图形界面就齐了。文本生成、问答、其他 NLP 任务都能在本地完成。