第一步:搭建基础环境(安装Ollama)
部署DeepSeek要用到 Ollama,一个轻量级AI模型运行框架,支持多个开源模型,我们将用它来运行DeepSeek。
Ollama官网:Ollama
下载安装Ollama:
macOS、Linux 和 Windows都可以下载安装,根据自己的系统下载。
下载完成后,按照提示进行安装:
■ Windows:双击安装包,一路“Next”即可
■ Mac:拖拽 Ollama 图标到 Applications 文件夹
安装完成后,打开终端(Windows 按 Win + R 输入 cmd,Mac 直接打开 Terminal),然后输入:ollama list
如果终端显示 llama3 之类的模型名称,说明已经安装成功!
安装完成后,桌面还会出现一个羊驼图标。
注意事项
● 确保系统已更新,避免兼容性问题
● 关闭杀毒软件,以防拦截安装
● 保持网络畅通,下载过程中可能需要 300MB 以上的数据
第二步:下载部署 DeepSeek-R1
DeepSeek 提供多个参数版本,选择对应的模型来下载:1.5b、7b、8b、14b、32b、70b或671b,模型越大,要求电脑内存、显卡等的配置越高,参考建议:
普通用户:选择 8B 版本,适合日常对话、写作等
高性能显卡用户(显存 16GB 以上):可选 16B 版本,体验更强大性能
1、在Ollama官网,找到Models。
2、 进入就可以看到deepseek-r1模型,如果没有,在搜索栏搜索即可。
3:复制安装命令,例如:
ollama run deepseek-r1:8b
打开命令行(Windows 用户按 Win + R,输入 cmd),粘贴并运行上述命令。模型将自动下载并安装。
(首次运行时,系统会自动下载 5GB 左右的模型文件,耐心等待一下。)
下载完成后稍微等待,看到success,即部署完成。
4:部署完成后,send a message,输入内容即可开始对话。
第三步:安装可视化界面(Chatbox AI)
终端交互虽然方便也很好用,但如果你更喜欢类似ChatGPT的可视化界面,可以安装Chatbox AI。
1. 下载 Chatbox
● 访问 Chatbox 官网,下载对应系统的安装包
Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载
● 按照默认设置完成安装
2. 连接本地模型
● 打开 Chatbox,进入 ⚙️ 设置
● 在 模型设置 里选择:
○ API 类型:Ollama API
○ 模型名称:deepseek-r1:8b
● 点击 检查连接,如果状态正常,就可以开始愉快地使用啦!
3. 进阶设置(可选)
● 温度值:建议 0.3-0.7,数值越低,AI 回答越保守
● 最大生成长度:建议 2048 tokens,这样回答更丰富
● 连续对话模式:开启后,能让对话更加连贯
4:优化交互和性能
为了让AI跑得更顺畅,这里有几个小技巧:
● 关闭其他大型程序,避免占用过多内存
● 复杂问题分步提问,能提高模型的理解力
● 使用英文关键词,有时能提升响应速度
● 定期重启 Ollama,释放内存,让AI保持最佳状态
常见问题及解决方案
Q1:运行时提示显存不足? A:尝试使用 8B 版本,或升级显卡驱动。
Q2:AI 回答乱码? A:在 Chatbox 设置中切换编码为 UTF-8。
Q3:如何更新模型? A:在终端执行:ollama pull deepseek-r1:8b ,就能获取最新版本。
四:本地部署的优势
1. 数据隐私与安全:
a. 数据隐私:当你在本地部署DeepSeek时,所有的数据处理和存储都在你的控制之下。这意味着你可以完全控制数据的流向和存储位置,这对于处理敏感或私人数据尤为重要。
b. 安全性:本地部署减少了数据在网络中传输的风险,降低了被黑客攻击的可能性。此外,你可以根据需要配置更严格的安全措施,如防火墙、加密等。
2. 性能优化:
a. 响应速度:由于数据和应用都存储在本地,减少了网络延迟,可以显著提高应用的响应速度和整体性能。(不会存在“服务器网络繁忙”等问题)
b. 资源利用:你可以根据本地服务器的硬件配置优化DeepSeek的性能,确保资源得到最有效的利用。
3. 合规性与法规遵守:
a. 数据主权:在某些行业(如金融、医疗等),数据主权是关键考虑因素。本地部署确保了数据始终留在国内或符合特定法规的地区,有助于遵守相关法规。
b. 减少合规成本:对于需要频繁更新和遵守复杂法规的公司,本地部署可以减少对外部服务提供商的依赖,从而降低合规成本。
4. 成本效益:
a. 避免网络费用:在本地部署可以避免因使用云服务而产生的网络传输费用。
b. 长期成本:虽然初始投资可能较高(如硬件采购、软件许可等),但从长远来看,通过减少外部依赖和可能的长期维护成本,可以获得更好的经济效益。
5. 自定义与控制:
a. 定制化:本地部署允许你根据具体需求定制DeepSeek的功能和性能。你可以安装特定的插件、模块或进行代码级的定制,以满足特定的业务需求。
b. 即时更新与维护:相比于依赖外部服务提供商的更新周期,你可以更灵活地安排更新和维护工作,确保系统始终保持最新状态。