声明:本文来自于微信公众号 雷科技，作者:雷科技，授权站长之家转载发布。

这个春节假期，要说“红得发紫”的科技产品，DeepSeek应该当之无愧。

甚至平时对科技新闻毫不在意的长辈们，也走过来问小雷有没有听说过DeepSeek。在我的印象中，上一次AI大模型如此深入人心的，还是OpenAI的ChatGPT。

大红大紫的背后，是DeepSeek遭受连续且高强度的网络攻击，大部分时候官网都没办法正常生成内容，即便关闭联网搜索，具备深度推理能力的DeepSeek-R1在线模型还是无法正常使用。好在，在华为等众多科技公司的支持下，第三方平台纷纷接入DeepSeek的API，让稳定在线使用成为了可能。

不过这些渠道本质上还是线上访问，春节期间休息的小雷，还想玩一把更大的，比如把DeepSeek大模型部署到本地。

于是，在春节期间，小雷动起手来实践了一下。

下载慢还得敲代码，

打造“AI电脑”不容易

事实上，无论是不是DeepSeek，想要在自己电脑部署一个本地大模型，执行的步骤并不多，难点在于寻找到对应的资源和命令。但需要注意的一点是，本地大模型虽说是已经训练好的成品，但也需要有一定的硬件基础，体验才算得上好。

（图片来自Ollama）

首先，我们可以到Ollama官网下载一个桌面端应用，这个应用相当于一个承载本地大模型的“盒子”，除了DeepSeek之外，你可以在Ollama官网的模型库中找到许多开源大模型。

Ollama桌面端并不提供任何控制界面，想要将大模型下载到本地，需要在Ollama官网的模型库当中找到对应模型的代码，复制到PowerShell（Win+R输入PowerShell回车打开）当中，就可以执行模型数据的拉取和安装。

（图片来自雷科技）

小雷选的是DeepSeek-R1模型当中的7b版本，也就是带有70亿参数的DeepSeek-R1模型，占用4.7GB。本地大模型参数量越大自然是越好，可以提供更精准的语言理解和更高质量的文本生成能力，具备更强的逻辑推理和学习能力，同时知识储备和泛化能力。但本地大模型依赖电脑计算能力，每个人对大模型的需求不同，不应该“硬来”。

一般来说，运行1.5B参数的模型最低需要4GB显存的GPU以及16GB的内存，如果达不到要求，则会强行使用CPU进行计算，硬件负担更大，且推理的时间会更长。而满血版的DeepSeek-R1参数量为671b，体积达到404GB，需要更高规格的计算硬件才能负担得起，对于个人部署需求，小雷建议1.5b-8b参数最为适合。

（图片来自雷科技）

模型数据拉取完毕，系统则会自动执行安装，完成之后就可以直接在PowerShell窗口当中直接调取刚下载的DeepSeek-R1模型，输入框填写问题发送，本地大模型就会推理并生成。

到这里，DeepSeek-R1本地大模型的部署就完成了，理论上大家也可以根据这样的方法去部署其它大模型上电脑。

但每次开启电脑都要打开PowerShell界面才能激活大模型，对于普通用户而言并不方便，这个时候我们需要给DeepSeek-R1安装一套更直观的交互界面。小雷选择了在Docker应用（图标是一个蓝色海豚）上添加一个Open-WebUI组件，让DeepSeek-R1可以通过浏览器界面交互，并赋予它联系上下文的能力。

具体来看，需要先下载Docker桌面端，按照默认的引导完成安装之后（可跳过账号注册等步骤），再次打开PowerShell界面复制并执行以下这条指令，小雷帮大家省下去Github查找的时间了:

docker run -d -p3000:8080--add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果是使用NVIDIA GPU的小伙伴，则需要使用以下这条指令:

docker run -d -p3000:8080--gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

拉取大模型文件和Open WebUI组件需要一个比较漫长的过程，尤其是网络不太理想（或者没有科学上网）的环境，下载器会不断重试/切换线路，出现下载进度丢失的问题。

安装完成之后，Docker应用中就会出现一个Open-WebUI的相关组件，把它勾选启动，再点击“3000:8080”字样的链接，系统就会跳转到网页。

（图片来自雷科技）

这个时候，你就获得了一台带有AI本地大模型的真正的“AI电脑”了。

小雷体验了整个部署过程，步骤并不算复杂，系统的数据拉取和安装都是自动化的，主要还是在搜索命令行和安装资源，以及拉取和安装组件时花了比较多的时间，Ollama和Docker都可以通过百度搜索到，小雷也在上面提供了对应的跳转链接，动手能力且有兴趣的各位可以尝试尝试。

当然了，本地部署大模型的方法并不只有这一个，像华为刚推出的ModelEngine等，具备一站式训练优化和一键部署的能力，应该是面向企业端的开发工具。

离线使用是好事，

但生成能力不如云端版

国内的AI大模型应用选择很多，而且网页端服务很齐全，那么本地部署的意义在哪里?

前面铺垫了这么多工作准备本地大模型，关键有两点:第一，本地大模型的所有模型数据和对话记录都是完全离线，存储在本地，本地推理响应时间更快，也避免了敏感内容泄露。同时在飞机等无网环境之下，也可以正常使用大模型;第二，本地部署支持各种开源模型，个人用户可以灵活扩展和切换，也可以根据自身需求进行优化和工具集成，总之操作空间会比线上大模型更多。

不过小雷部署的时间还不长，许多功能还没摸清楚，这次就简单讨论一下本地大模型的体验如何。

小雷安装DeepSeek-R17b模型的电脑是机械革命无界14X，轻薄本定位，运行内存为24GB，并没有配备独立显卡这种硬件，不在本地部署大模型的推荐配置范围内，算是一个“反面教材”。换句话说，DeepSeek-R17b模型在这款电脑上，需要更多的推理时间和资源占用才能够正常生成内容。

（图片来自雷科技）

像“饭后胀气”等问题的讨论和答案，大模型需要思考30秒-1分钟才到答案生成阶段，期间电脑的负载会达到高峰，CPU和内存几乎被占满，可以想象没有独立显卡的电脑带动本地大模型会比较吃力，小雷认为给出的答案的确有一定的正向参考的作用。

（图片来自雷科技）

相比于答案，小雷更感兴趣的还是DeepSeek拟人化的思考过程，很少有AI助手把思考的过程做到如此拟人化，不管生成的答案是否准确，它的拟人化推理过程似乎也能激起许多普通用户的兴趣。

如果把同样的问题放在网页端的DeepSeek大模型，并启用R1深度思考，直接生成了一个“服务器繁忙”的回馈，密集的访问的确给DeepSeek造成了不少困扰，这个时候想要正常地和它交谈，本地部署能力不一定很强，至少能够访问得到。

（图片来自DeepSeek）

再换一个问题，小雷用了一道经典的概率题目向本地DeepSeek-R17b发起提问。网页端DeepSeek-R1持续繁忙中，本地DeepSeek可能也有一些手足无措，列举了多种情况后又自行驳回，最后还混入了之前提问的“饭后胀气”的内容，画面显得相当滑稽。

（图片来自雷科技）

本地DeepSeek在连续输出十多分钟后也没有提供答案，考虑到时间有限，小雷还是停止了生成。

只能说数学题目对于70亿参数的DeepSeek-R17b还是过于复杂，在线大模型都不一定能够输出准确答案，本地就更成问题了，同时高参数的本地大模型推理的过程中，电脑的负载压力也会拉满。

从开源的角度去分析，本地大模型的扩张性和可玩性会比传统的线上大模型更好玩。但本地大模型的部署大家也很清楚，操作起来并不是很容易，想要挖掘更多玩法，还是要靠动手能力强的用户。

本地部署DeepSeek，

只是图个新鲜好玩?

那么，本地大模型值得人手一个吗?小雷的答案是否定的。

就现阶段的生成能力来说，本地大模型很难跟线上大模型媲美，参数规模和计算能力摆在那，肯定没法跟正规大模型公司背后的算力集群对比。本地大模型适合动手能力强的电脑用户折腾，深度发掘的确能带来一些功能上的便利，毕竟本地大模型在系统底层中运行，能够更好地与硬件结合。

但作为普通用户，部署本身也算不上是一件多容易的事情，大模型的周边配套并没有想象中成熟，Ollama官网全是英文，Docker应用也不提供中文支持，本身在部署上就有较高的门槛。小雷部署一个本地DeepSeek大模型，只是图个新鲜，平均生成用时20秒起步，除了可以离线随处用，普通的生成需求，体验还是不如在线大模型。

像读取文件分析、联网收集数据分析这些能力，还需要用户自己来折腾，小雷目前部署的DeepSeek还只是个开始。另外如果你有一天不用了想要删掉大模型数据，还需要学习步骤来清除，否则它就会一直占用系统盘的存储空间。

在小雷看来，DeepSeek走开源道路，最主要的原因还是为了打响市场影响力，先行占据市场地位，吸引行业围绕它来建立完善的服务体系。抛开Ollama这些不说，国内众多大模型平台率先接入DeepSeek的API，就是开源带来的直接结果。

可以想象，携带超高热度的DeepSeek完成各行业的应用和渗透，个人本地部署的需求也会变得远比现在简单，调起PowerShell界面、敲代码这些事情甚至都不需要用户来做。

至于DeepSeek会发展成什么样，小雷还无法预测，被行业高度关注利大于弊，不稳定的服务只是短痛，能够提高市场占比走到普通用户身边，渗透到各个设备，到那个时候，本地部署这件事情或许本身就没有必要了。