如何本地部署deepseek开源AI大模型

人工智能 潘老师 3个月前 (02-04) 202 ℃ (0) 扫码查看

最近这过年期间,AI领域可谓热闹非凡,开源大模型DeepSeek的出现,就像一颗重磅炸弹,在全球AI圈激起千层浪。不少人在手机上体验了DeepSeek的问答功能后,都被它的强大实力折服,妥妥属于国内顶尖的人工智能水准。今天,就给大家分享一种用LM Studio搭配DeepSeek模型进行本地部署的方法,深入挖掘它的潜力。

一、LM Studio部署步骤

首先,得去LM Studio的官网(lmstudio.ai)下载安装包,根据自己的系统选择,Windows、Mac(M系列)、Linux版本都有。

下载完成后进行安装,安装好启动LM Studio,会看到一个简洁的界面,上面提示选择要加载的模型,但此时程序里还没有模型,需要我们手动下载。

二、模型下载要点

DeepSeek的模型存放在huggingface平台上,就连github上的模型下载地址也都跳转到huggingface。打开huggingface官网的DeepSeek主页(huggingface.co/deepseek-ai ),能看到各式各样的模型,其中DeepSeek-R1和DeepSeek-V3人气超高。

好在LM Studio集成了模型管理功能,操作起来很方便。点击软件左边的放大镜图标,在弹出的搜索框里输入“deepseek”,就能筛选出相关模型。筛选结果中,上方展示的是最佳匹配模型,下方则列出所有相关模型,还会显示模型的下载量,方便我们参考选择。

选择模型的时候,LM Studio会根据硬件配置给出适配建议。合适的模型会有显示标识,不合适的则会提示“可能对本机来说太大” 。

像不同量化配置(Q3_K_L、Q4_K_M、Q6_K、Q8_0,分别对应3-bit、4-bit、6-bit、8-bit量化)的模型,量化值越大,对硬件配置要求越高,但性能表现通常也更好。比如,用集成显卡的笔记本(40G内存,无独立显卡),系统推荐下载32B的4-bit量化模型,虽然这个模型大小有20G,但为了体验更好的效果,还是可以尝试下载部署。

三、模型使用体验

模型下载完成后,点击加载模型。不过要注意,加载过程可能会占用大量内存,比如加载32B的4-bit量化模型时,内存直接就占满了。从实际使用效果来看,模型能正常处理问题,但处理速度会受硬件限制。像上述配置的电脑,回答问题耗时长达31秒。

为了找到更适合不同硬件的模型,又重新下载部署了8B、14B的模型,文件大小分别是5G、9G。在相同问答测试下,8B模型耗时7秒,14B模型耗时13秒。综合对比后发现,集成显卡的设备更适合7B、8B这类较小的模型,而有独立显卡的设备,则可以尝试14B、32B等较大的模型,能获得更好的使用体验。

按照这个流程,就能用LM Studio完成DeepSeek模型的本地部署。要是你也对DeepSeek感兴趣,不妨动手试试,感受下开源大模型的魅力。


版权声明:本站文章,如无说明,均为本站原创,转载请注明文章来源。如有侵权,请联系博主删除。
本文链接:https://www.panziye.com/ai/13201.html
喜欢 (0)
请潘老师喝杯Coffee吧!】
分享 (0)
用户头像
发表我的评论
取消评论
表情 贴图 签到 代码

Hi,您需要填写昵称和邮箱!

  • 昵称【必填】
  • 邮箱【必填】
  • 网址【可选】