春节期间突然被 DeepSeek 刷屏了，这热度是真大，到处都是新闻和本地部署的教程，等热度过了过，简单记录下自己本地部署及相关的内容，不过有能力的还是阅读论文和部署完整版的进一步使用。

一、什么是 DeepSeek R1

2025.01.20 DeepSeek-R1 发布，DeepSeek R1 是 DeepSeek AI 开发的第一代推理模型，擅长复杂的推理任务，官方对标OpenAI o1正式版。适用于多种复杂任务，如数学推理、代码生成和逻辑推理等。

根据官方信息DeepSeek R1 可以看到提供多个版本，包括完整版（671B 参数）和蒸馏版（1.5B 到 70B 参数）。完整版性能强大，但需要极高的硬件配置；蒸馏版则更适合普通用户，硬件要求较低

DeepSeek-R1官方地址：https://github.com/deepseek-ai/DeepSeek-R1

  • 完整版（671B）：需要至少 350GB 显存/内存，适合专业服务器部署
  • 蒸馏版：基于开源模型（如 QWEN 和 LLAMA）微调，参数量从 1.5B 到 70B 不等，适合本地硬件部署。
蒸馏版与完整版的区别

这里我们详细看下蒸馏版模型的特点

蒸馏版与量化版

例如：

deepseek-r1:7b-qwen-distill-q4_K_Mdeepseek-r1:32b-qwen-distill-q4_K_M

我们正常本地部署使用蒸馏版就可以

二、型号和硬件要求

硬件配置说明

1、Linux 配置：

  • 最低要求：NVIDIA GTX 1660 6GB 或 AMD RX 5500 4GB，16GB 内存，50GB 存储空间

  • 推荐配置：NVIDIA RTX 3060 12GB 或 AMD RX 6700 10GB，32GB 内存，100GB NVMe SSD

  • 高性能配置：NVIDIA A100 40GB 或 AMD MI250X 128GB，128GB 内存，200GB NVMe SSD

2、Windows

  • 最低要求：NVIDIA GTX 1650 4GB 或 AMD RX 5500 4GB，16GB 内存，50GB 存储空间

  • 推荐配置：NVIDIA RTX 3060 12GB 或 AMD RX 6700 10GB，32GB 内存，100GB NVMe SSD

  • 高性能配置：NVIDIA RTX 3090 24GB 或 AMD RX 7900 XTX 24GB，64GB 内存，200GB NVMe SSD

3、Mac 配置：

  • 最低要求：M2 MacBook Air（8GB 内存）

  • 推荐配置：M2/M3 MacBook Pro（16GB 内存）

  • 高性能配置：M2 Max/Ultra Mac Studio（64GB 内存）

三、本地安装 DeepSeek R1

演示环境：M2/M3/M4 MacBook Pro (16GB RAM+)
模型：deepseek-r1:8b

简单说下在本地部署的好处：

  • 隐私：您的数据保存在本地的设备上，不会通过外部服务器

  • 离线使用：下载模型后无需互联网连接

  • 经济高效：无 API 成本或使用限制

  • 低延迟：直接访问，无网络延迟

  • 自定义：完全控制模型参数和设置

3.1 部署工具

部署可以使用 Ollama、LM Studio、Docker 等进行部署

1、Ollama：

ollama run deepseek-r1:7b

2、LM Studio：

  • 支持 Windows 和 Mac，提供可视化界面，适合新手用户

  • 支持 CPU+GPU 混合推理，优化低配硬件性能

LM Studio 是一个桌面应用程序，它提供了一个用户友好的界面，允许用户轻松下载、加载和运行各种语言模型（如 LLaMA、GPT 等）

3、Docker：

docker run -d --gpus=all -p 11434:11434 --name ollama ollama/ollama

由于需要本地化部署语言模型的场景，对数据隐私和自定义或扩展语言模型功能有较高要求，我们这里使用 Ollama 来进行本地部署运行

如果只有集显也想试试玩，可以试试下载 LM Studio 软件，更适应新手。

3.2 安装 Ollama

官方地址：https://ollama.com/

  • 安装模型：

回到 Ollama 官网选择模型，选择适合你的蒸馏量化模型复制命令进行安装

可以看到安装完成

简单思考下，使用过程中的硬件使用率，GPU饱和，其他使用率不是很高，速度也很快

四、可视化界面

这里介绍下 Open-WebUI 和 Dify。

Open-WebUI 是一款自托管 LLM Web 界面，提供 Web UI 与大模型交互，仅提供 Web UI，不提供 API，适用于个人使用 LLM 以及本地运行大模型

Dify 是 LLM 应用开发平台，不完全是可视化界面，可以快速构建 LLM 应用（RAG、AI 代理等），提供 API，可用于应用集成，支持 MongoDB、PostgreSQL 存储 LLM 相关数据， AI SaaS、应用开发，需要构建智能客服、RAG 应用等，类似的工具也有 AnythingLLM 可根据用户偏好进行选择使用

4.1 Open-WebUI

Open-WebUI官方地址：https://github.com/open-webui/open-webui

根据官网文档可使用pip和docker进行安装，我这里避免影响本地环境使用 docker进行安装

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main``

访问 http://localhost:3000/

创建账号

访问成功

简单的问下问题，实际运行8b模型给出的代码是有问题的，根据报错的问题再次思考时间会变长

ps: 如果是离线或者网络不通的情况下不要开启设置中的 OpenAI API选项，不然后导致报错页面无法访问

4.2 Dify

Dify官方地址：https://github.com/langgenius/dify

启动成功，localhost 访问

http://host.docker.internal:11434

接下来创建应用使用之前安装好的 DeepSeek R1 模型

可以看到右上角已经使用 deepseek-r1:8b 的模型了

简单的问个问题可以看到已经正常使用

Dify 不只是对话，其他功能可以自行探索下，后续有使用我也会更新。

DeepSeek 的使用

最后在本地部署蒸馏版的体验中对于回答的代码内容有些不尽人意，不过文字以及思考过程的能力还是可以的

如果想在后续体验完整版的 Deepseek，还没有高性能的硬件，那么直接使用 deepseek 官方的服务吧，api是真心不贵。

在 vscode 中通过 Continue 插件使用 Deepseek 的 API，也可以在 Open-WebUI 接入 API。

如何系统的去学习大模型LLM ？

AI会取代那些行业谁的饭碗又将不保了？
抢你饭碗的不是AI，而是会利用AI的人。
科大讯飞、阿里、华为
与其焦虑……
掌握AI工具的技术人

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

LLM大模型资料LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、LLM大模型系列视频教程

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

五、AI产品经理大模型教程

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景
LLM大模型资料LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程

​