本地部署DeepSeek
deepseek-r1
deepseek-r1分很多版本，满血、残血、量化
完整版（671B）：需要至少 350GB 显存/内存，适合专业服务器部署。
蒸馏版：基于大模型（如 QWEN 或 LLAMA）微调，参数量减少但性能接近原版，适合低配硬件。
量化版：通过降低模型精度（如 4-bit 量化）减少显存占用，适合资源有限的设备。
我用的是M1 Pro 16G的MacBook Pro，所以用的是蒸馏版 deepseek-r1:7b，7b的意思是参数量，b=B=Billion, 7B就是70亿个参数。
核心是Ollama + Open-WebUI，Ollama 是用来加载运行大模型的服务，Open-WebUI是一个前端界面，通过Open-WebUI来调用Ollama。
Ollama
Ollama可替代的有LM Studio、或者把ollama部署在Docker里。
Ollama直接官方地址下载安装即可：https://ollama.com/
命令行运行ollama run deepseek-r1:7b即可下载并运行模型。
Open-WebUI
Open-WebUI官方地址：https://github.com/open-webui/open-webui
Open-WebUI官方文档地址：https://docs.openwebui.com/getting-started/
我使用Docker运行：
1 | docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main |
完成后访问：http://localhost:3000/
- 标题: 本地部署DeepSeek
- 作者: MX
- 创建于 : 2025-02-12 12:30:00
- 更新于 : 2025-04-10 13:11:57
- 链接: https://www.convolution.fun/2025/02/12/202502121230/
- 版权声明: 本文章采用 CC BY-NC-SA 4.0 进行许可。
评论