圣诞节快乐，没啥福利能发的，整理一个本地模型部署的帖子吧。 
圣诞节快乐
参考配置
以我自己的电脑配置为例：
| 设备名 | DESKTOP-GLIC41N |
|---|---|
| 处理器 | AMD Ryzen Threadripper PRO 3955WX 16-Cores 3.90 GHz |
| 机带 RAM | 64.0 GB (63.9 GB 可用) |
| 存储 | 3.64 TB HDD WDC WD40EZAZ-00SF3B0, 932 GB SSD Samsung SSD 980 1TB |
| 显卡 | NVIDIA GeForce RTX 2080 Ti (11 GB) |
| 设备 ID | A5183A5D-1EB8-4E8C-82C9-598FE9ED2EEE |
| 产品 ID | 00330-80000-00000-AA181 |
| 系统类型 | 64 位操作系统, 基于 x64 的处理器 |
| 笔和触控 | 没有可用于此显示器的笔或触控输入 |
本地部署的目的
我之前的部署的目前是用本地模型润色一下不方便上传网络的文字。
具体来说：
想要本地部署一个ai模型，满足论文的撰写、总结等功能
采用：docker+ollama+本地 Qwen2.5:14b +openwebui的方案
实现功能:不能泄露论文内容
具体步骤：
检查工作
准备工作检查
1. 确认你的Windows版本
- 按
Win + R,输入winver,回车 - 需要 Windows 10 (版本1903以上) 或 Windows 11
2. 确认NVIDIA驱动
- 右键桌面 → NVIDIA控制面板
- 或者按
Win + X→ 设备管理器 → 显示适配器 - 如果没有NVIDIA驱动,先安装: 下载最新官方 NVIDIA 驱动
安装 WSL2
-
设置代理
# 1. 先创建 Config 项 New-Item -Path "HKLM:\SOFTWARE\Microsoft\Windows\CurrentVersion\DeliveryOptimization" -Name "Config" -Force # 2. 再写代理地址和下载模式 Set-ItemProperty -Path "HKLM:\SOFTWARE\Microsoft\Windows\CurrentVersion\DeliveryOptimization\Config" -Name "DODownloadMode" -Value 1 -Type DWord -Force Set-ItemProperty -Path "HKLM:\SOFTWARE\Microsoft\Windows\CurrentVersion\DeliveryOptimization\Config" -Name "ProxyUrl" -Value "http://127.0.0.1:7897" -Type String -Force记得完成配置后删除代理(最后一步，甚至可以不删)
Remove-ItemProperty -Path "HKLM:\SOFTWARE\Microsoft\Windows\CurrentVersion\DeliveryOptimization\Config" -Name "ProxyUrl" -ErrorAction SilentlyContinue -
安装
wsl --install重启
→ 提示新建 UNIX 用户名/密码
→ 检查
# 1. 检查WSL版本 wsl --version # 2. 检查安装的发行版 wsl -l -v # 3. 测试进入Ubuntu wsl # 进入后会显示类似: myuser@DESKTOP-xxx:~$ # 输入 exit 退出就代表 Ubuntu 子系统已装好，随后可继续 Docker Desktop → ollama → openwebui 的后续步骤。
安装DOCKER
- 访问： https://www.docker.com/products/docker-desktop/
- 安装 Docker Desktop
-
双击
Docker Desktop Installer.exe -
安装界面出现后，重要配置：
必须勾选：
可选：
“Use WSL 2 instead of Hyper-V” 或 “使用 WSL 2 而不是 Hyper-V”- “Add shortcut to desktop”（添加桌面快捷方式）
-
其他的设置默认，或者按需，看到 “Installation succeeded” 或 “安装成功”
-
点击 “Close and restart” 或 “关闭并重启” 重启电脑
必须重启电脑，否则 Docker 无法正常工作
重启电脑后：
-
双击桌面的 Docker Desktop 图标（或从开始菜单找到）
-
可能提示登录 Docker Hub，点击 “Skip” 或 “跳过”（不需要账号）
-
Docker 会开始启动，右下角托盘会显示
图标； 等待图标变成 绿色 或显示 “Docker Desktop is running”
第一次启动慢一点，请耐心等待
给docker配置一个环境（我没用镜像，试了不行，然后嫌麻烦直接clash）
- Docker Desktop → Settings → Resources → Proxies
- HTTPS Proxy 填
socks5://127.0.0.1:7897 - Bypass 留空 → Apply & Restart
启动容器（包含安装ollama）+下载Qwen2.5:14b
下面的命令是一条龙服务，包含安装ollama和初始配置。
docker run -d --gpus all -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama
进入容器
docker exec -it ollama bash
下载Qwen2.5:14b 模型
ollama pull qwen2.5:14b
测试模型（在powershell中直接问的）
ollama run qwen2.5:14b "你是什么模型？"
退出容器
exit
部署openwebui
下载 Open WebUI 镜像
docker pull ghcr.io/open-webui/open-webui:main
启动open webui
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
检查容器状态
docker ps
应该看到两个容器都在运行：
CONTAINER ID IMAGE STATUS PORTS NAMES
xxxxxxxxx ghcr.io/open-webui/open-webui... Up xx seconds 0.0.0.0:3000->8080/tcp open-webui
xxxxxxxxx ollama/ollama Up xx minutes 0.0.0.0:11434->11434/tcp ollama
打开浏览器访问
在浏览器地址栏输入：
http://localhost:3000
首次访问会要求注册管理员账号：
- 姓名：随意填写
- 邮箱：随意填写（不需要真实邮箱，比如
[email protected]） - 密码：设置一个密码
点击 Sign Up注册。
到这就可以正常使用了，下拉选择模型
参考提示词
可以自己配置prompt,例如：
直接用ai生成一个：
