2025年4月5日 星期六 乙巳(蛇)年 正月初六 设为首页 加入收藏
rss
您当前的位置:首页 > 计算机 > 编程开发 > 人工智能

小白都能看懂,deepseek本地部署教程

时间:03-27来源:作者:点击数:7

今天给大家分享deepseek的本地部署教程

一、部署Ollama(多平台选择安装)

Ollama 支持 Linux/macOS/Windows,需根据系统选择安装方式。

1. Linux 系统部署

适用系统:Ubuntu/Debian/CentOS 等

步骤

  1. 一键安装
    • curl -fsSL https://ollama.com/install.sh | sh
  2. 权限配置(避免 sudo 运行):
    • sudo usermod -aG ollama $USER # 将当前用户加入ollama组newgrp ollama # 刷新用户组
  3. 启动服务
    • systemctl start ollama # 启动服务systemctl enable ollama # 开机自启
  4. 验证安装
    • ollama --version # 输出版本号即成功
2. macOS 系统部署

步骤

  1. 一键安装
    • curl -fsSL https://ollama.com/install.sh | sh
  2. 启动服务
    • ollama serve # 前台运行(调试用)
    • 或通过 Launchd 后台服务:
      • brew services start ollama # 通过Homebrew管理
3. Windows 系统部署

前置要求

  • Windows 10/11 64位
  • 已安装 WSL2(推荐Ubuntu发行版)

步骤

  1. 下载安装包:Ollama Windows Installer
  2. 下载后进行双击安装
  3. 验证安装
    • ollama list # 查看已安装模型
img

💬

如何配置远程 Ollama 服务?

默认情况下,Ollama 服务仅在本地运行,不对外提供服务。要使 Ollama 服务能够对外提供服务,你需要设置以下两个环境变量:

如果 Ollama 作为 systemd 服务运行,应使用 systemctl 设置环境变量:

  • 调用 systemctl edit ollama.service 编辑 systemd 服务配置。这将打开一个编辑器。
  • 在 [Service] 部分下为每个环境变量添加一行 Environment:
  • [Service]Environment="OLLAMA_HOST=0.0.0.0"Environment="OLLAMA_ORIGINS=*"
  • 重新加载 systemd 并重启 Ollama:
  • systemctl daemon-reloadsystemctl restart ollama
二、拉取并运行DeepSeek模型

官方模型库参考:Ollama DeepSeek-R1 页面

img
1. 拉取模型
  • ollama pull deepseek-r1 # 官方推荐模型名称
  • 模型规格选项(按需选择):
    • ollama pull deepseek-r1:7b # 7B参数基础版ollama pull deepseek-r1:33b # 33B参数进阶版(需更高显存)
img
2. 运行模型
  • ollama run deepseek-r1

验证交互

  • >>> 你好,请用中文回答你好!我是DeepSeek-R1,很高兴为您提供帮助!
三、不同硬件场景配置说明

根据硬件资源选择运行模式:

场景1:纯CPU运行

适用情况:无独立显卡或显存不足

配置优化

  1. 限制线程数(避免资源耗尽):
    • OLLAMA_NUM_THREADS=4 ollama run deepseek-r1 # 限制4线程
  2. 使用量化模型(减少内存占用):
    • ollama pull deepseek-r1:7b-q4_0 # 4-bit量化版
  3. 内存要求
    • 7B模型:至少8GB空闲内存
    • 33B模型:至少32GB空闲内存
场景2:CPU+GPU混合运行

适用情况:有NVIDIA显卡(需CUDA支持)

配置步骤

  1. 安装驱动
    • 安装 NVIDIA驱动 和 CUDA Toolkit 12.x
  2. 启用GPU加速
    • ollama run deepseek-r1 --gpu # 强制使用GPU
  3. 显存要求
    • 7B模型:至少6GB显存
    • 33B模型:至少20GB显存
  4. 性能监控
    • nvidia-smi # 查看GPU利用率
四、AI问答应用接入本地大模型
方式1:部署MaxKB并接入Ollama
img
1. 通过Docker部署MaxKB
  • docker run -d \ --name=maxkb \ -p 8080:8080 \ -v ~/maxkb_data:/var/lib/postgresql/data \ 1panel/maxkb:latest
  • 访问 http://localhost:8080,默认账号密码 admin/MaxKB@123…
2. 配置Ollama模型接入
  1. 进入MaxKB控制台模型管理 > 添加模型
  2. 填写参数
    • 模型类型:Ollama
    • 模型名称:DeepSeek-r1
    • Base URL:http://ollama主机ip:11434(Docker内访问宿主机)
    • 模型名称:deepseek-r1(与Ollama拉取的模型名一致)
img
3. 创建应用并测试问答功能
img
img
方式2:本地安装chatBox AI并接入本地大模型
1、下载安装包
  1. 访问 GitHub Releases 页面:ChatBox Releases!ChatBox Releases页面
  2. 选择 Windows 版本
2、安装 ChatBox
  1. 运行安装程序
    • 双击下载的 .exe 文件,按提示完成安装。
3、基础配置
3.1. 连接 本地模型
  1. 确保 Ollama 服务已运行。
  2. 在 ChatBox 设置中选择 ollama api,填写:
    • API Endpoint: http://localhost:11434
    • API Key: 留空
    • Model Name: deepseek-r1(与 Ollama 模型名称一致)
img
img
3.2 可以自定义界面
img
3.3 验证使用
img
五、常用的故障排查方法
1. Ollama服务无法启动
  • 日志查看
    • journalctl -u ollama -f # Linux
  • 端口冲突:修改Ollama端口:
    • OLLAMA_HOST=0.0.0.0:11435 ollama serve # 指定新端口
2. 模型加载失败
  • 重新初始化
    • ollama rm deepseek-r1 && ollama pull deepseek-r1
3. MaxKB连接超时
  • 检查网络
    • curl http://ollama-ip:11434 # 确认Ollama API可达
  • 跨域问题:在Ollama启动时添加:
    • OLLAMA_ORIGINS="*" ollama serve
六、性能优化建议
场景 推荐配置
CPU模式 使用
GPU模式 启用
七、AI服务器性能监控

我使用zabbix+grafana对服务器做了资源使用情况的监控,因为我的服务器没有GPU,全部使用CPU去跑,当我运行大模型的时候,可以看到服务器资源站哟比较高(目前我测试用的的Deepseek-r1:7b)

img
img
img

DeepSeek无疑是2025开年AI圈的一匹黑马,在一众AI大模型中,DeepSeek以低价高性能的优势脱颖而出。DeepSeek的上线实现了AI界的又一大突破,各大科技巨头都火速出手,争先抢占DeepSeek大模型的流量风口。

DeepSeek的爆火,远不止于此。它是一场属于每个人的科技革命,一次打破界限的机会,一次让普通人也能逆袭契机。

DeepSeek的优点

read-normal-img

掌握DeepSeek对于转行大模型领域的人来说是一个很大的优势,目前懂得大模型技术方面的人才很稀缺,而DeepSeek就是一个突破口。现在越来越多的人才都想往大模型方向转行,对于想要转行创业,提升自我的人来说是一个不可多得的机会。

方便获取更多学习、工作、生活信息请关注本站微信公众号城东书院 微信服务号城东书院 微信订阅号
推荐内容
相关内容
栏目更新
栏目热门
本栏推荐