• 文档
• 教程
• 知识库
• 人工智能

导读：本文以 ai-guide 仓库中的《一文详解 DeepSeek 技术架构》为骨架，系统拆解 DeepSeek 从模型架构、训练策略到推理优化、多模态拓展的完整技术脉络，并结合本仓库中 DeepSeek技术解读：从V3到R1的MoE架构创新、DeepSeek-V3 高效训练关键技术分析、DeepSeek-R1 技术全景解析：从原理到实践的“炼金术配方” 等文档补充源码级细节。读完本文，你将理解 DeepSeek 模型“为什么便宜又快”、MoE 架构如何工作、训练分哪几个阶段、以及它能被应用到哪些真实场景，从而在选型、部署与二次开发中做出更准确的判断。

一、架构总览：一张图看懂 DeepSeek 的技术版图

DeepSeek 的技术架构可以概括为“三个层面、两条主线”：

• 模型架构层：在经典 Transformer 之上做创新，包括稀疏注意力、动态路由网络、混合专家系统（MoE）、多头潜注意力（MLA）等；
• 训练体系层：从万亿级语料预训练，到 RLHF + 宪法 AI 对齐，再到领域微调，以及面向推理的 R1 多阶段训练；
• 工程效率层：FlashAttention、动态批处理、FP8 低精度训练、DualPipe 流水线、All-to-All 通信优化等软硬件协同手段。

两个容易被混淆的核心事实需要先厘清：DeepSeek-V3 拥有 6710 亿（671B）总参数，但每个 Token 计算时只激活约 370 亿（37B）参数；其主流版本 R1、R1-Zero 也都沿用这一 MoE 底座，上下文长度均为 128K。关于这一点，DeepSeek技术解读：从V3到R1的MoE架构创新 中有明确的参数对照表。理解“总参数大、激活参数小”，是理解 DeepSeek 一切效率优势的起点。

二、核心架构：Transformer 之上的三重创新

DeepSeek 的技术架构建立在 Transformer 架构之上，但并没有止步于此，而是对注意力机制、路由机制和网络结构分别做了深度改造。

2.1 稀疏注意力：长序列处理的“智能放大镜”

在标准 Transformer 中，注意力机制需要对序列中所有位置两两计算相关性，序列越长，计算量越大。DeepSeek 融合了稀疏注意力机制：在处理长序列数据时，不再对所有的输入位置都进行注意力计算，而是选择性地关注关键位置。这相当于给模型配备了一个“智能放大镜”，只聚焦与当前任务最相关的信息，从而显著降低计算复杂度、提升长序列下的运行效率。

在工程实现层面，DeepSeek-V3 高效训练关键技术分析 进一步指出，DeepSeek 在注意力机制上的核心创新是MLA（Multi-Head Latent Attention，多头潜注意力）：通过低秩联合压缩将注意力键值（Key/Value）转换为潜向量，推理时只缓存潜向量而非完整 KV，从而大幅压缩 KV Cache、降低推理内存占用。相比业界常用的 GQA（分组查询注意力），MLA 在同等甚至更好的效果下把 KV 缓存减小了一个数量级，这正是 DeepSeek 长上下文能力强、推理成本低的架构根因之一。

2.2 动态路由网络：智能资源调配

为了进一步提升模型性能，DeepSeek 引入了动态路由网络（动态门控路由）。这个网络像一个智能的资源调配大师，会依据输入内容的特点——如任务复杂程度、输入数据类型等——动态调配计算资源。例如处理一篇几千字的学术论文时，路由网络会识别出关键信息所在的区域，并集中计算资源对这些区域做深入分析，从而快速准确地理解文本核心内容。

2.3 混合专家系统（MoE）：专家团协作

混合专家系统（MoE）是 DeepSeek 架构中最具标志性的设计。它将多个专家子网络组合在一起，每个专家子网络专注于特定类型的任务或领域：

• 处理数学问题时，门控机制激活擅长数学计算和逻辑推理的专家；
• 处理语言翻译任务时，激活精通语言翻译的专家；
• 门控机制按需激活专家，增强模型容量、控制计算成本，避免资源浪费。

从传统 MoE 到 DeepSeekMoE，本仓库文档揭示了三个关键改进（详见 DeepSeek技术解读：从V3到R1的MoE架构创新）：

1. 细粒度专家 + 通才专家：不再使用少数大专家，而是采用大量极小的专家结构，将知识空间离散细化以逼近连续的多维知识空间；每个 MoE 层包含 1 个共享专家和 256 个路由专家（V3 共 58 个 MoE 层、约 14906 个专家），每个输入 Token 激活 8 个路由专家。
2. 共享专家机制：共享专家对每个 Token 都会处理，负责提取共性特征、减少参数冗余；路由专家则按特征被选择性地激活，处理特定模式的数据。
3. 无辅助损失负载均衡：传统 MoE 通过辅助损失强制专家负载均衡，容易导致同领域能力被分散、损害性能；DeepSeek 改为给每个专家引入可学习的偏置项，动态调整路由决策，同时辅以序列级负载均衡，兼顾训练稳定性与性能。

MoE 的意义还可以从 Dense 与 MoE 的对比中理解：Dense 模型在专业领域计算参数量更少、更省资源，但在通用领域需激活全部参数；MoE 在通用领域激活参数少、更省资源，但在单一专业领域可能存在专家参数冗余。DeepSeek 选择 MoE 路线，本质是面向通用大模型、以可控算力换取更强的通用能力。

三、训练策略：多阶段的成长蜕变

原文档将 DeepSeek 的训练总结为“预训练 → 对齐 → 领域微调”三阶段，本仓库的其他文档则补充了从 V3 到 R1 的完整训练流程细节。

3.1 预训练：知识的海量汲取

在预训练阶段，DeepSeek 沉浸在万亿级多语言语料库中，广泛涉猎中文、英文及代码等各类文本。这些丰富语料为模型提供了充足的学习素材；同时融入知识图谱，帮助模型理解文本中的实体及其关系，深化对知识的理解。通过海量文本学习，模型掌握语言基本规律、语义表达与知识体系，为后续应用打下基础。

V3 的具体预训练策略（见 DeepSeek技术解读：从V3到R1的MoE架构创新）包括：

• 基于约 14.8T Token 的预训练数据集；
• 提高数学和编程样本比例，以提升推理能力；
• 整合更多中文数据（这也是 V3 能玩转中文梗的关键）；
• 将多语言覆盖扩展到英文、中文之外；
• 优化数据处理与过滤算法，在保持语料多样性的同时减少信息冗余，过滤争议内容、减少数据偏差；
• 采用 Fill-in-Middle（FIM）策略构建训练数据，使模型能根据上下文线索准确预测中间文本，同时不损害下一 Token 预测能力。

预训练完成后，V3 还进行了两阶段上下文长度扩展：第一阶段扩展到 32K，第二阶段进一步扩展到 128K，每阶段各 1000 步，分别采用 32K 序列长度与 128K 序列长度配置。

3.2 对齐阶段：价值观的校准

随着模型初步训练完成，DeepSeek 进入对齐阶段，目标是让模型输出符合人类价值观和社会规范。它结合了人类反馈强化学习（RLHF）与宪法 AI 理念：通过收集人类对模型输出的反馈作为奖励信号，引导模型朝符合人类期望的方向优化；宪法 AI 则相当于为模型制定一套行为准则，确保生成内容不产生有害、虚假或不道德的输出。例如回答健康问题时，模型会依据科学知识与道德准则提供准确建议，而非传播谣言或误导信息。

在具体算法层面，DeepSeek 后训练中的强化学习采用自研的GRPO（Group Relative Policy Optimization，组相对策略优化）算法（详见 DeepSeek-R1的训练流程强化学习（RL）阶段采用了GRPO算法）：对每个提示生成一组候选输出，在组内计算相对奖励作为优势值，无需依赖传统 PPO 的价值网络，从而显著降低显存占用与计算成本——相关文档表述为训练成本约为传统 RLHF 的约 1/3。GRPO 的计算流程包括：采样一组输出并计算奖励 → 组内归一化 → 计算优势函数 → 通过最大化目标更新策略模型 → 迭代训练。

3.3 领域微调：专业领域的深耕

为了让模型在特定领域发挥更大作用，DeepSeek 针对金融、医疗等领域注入大量专业数据，涵盖行业术语、专业知识和业务流程。医疗领域学习医学文献与病例数据，提升疾病诊断与治疗方案推荐能力；金融领域学习市场数据与投资策略，增强风险评估与投资建议能力。通过领域微调，模型可在特定领域提供更精准、专业的服务。

3.4 从 V3 到 R1：推理能力的四阶段“炼金术”

原文档对 R1 系列着墨不多，本仓库的 DeepSeek-R1 技术全景解析：从原理到实践的“炼金术配方” 与 DeepSeek-R1的四个训练阶段 补充了完整链路。三者的关系可以这样理解：

R1-Zero是仅使用强化学习训练的推理实验体：它直接基于 DeepSeek-V3-Base，用 GRPO 和基于规则的奖励（准确度奖励 + 格式奖励）驱动推理能力自发涌现，不依赖任何有监督微调。其训练中出现了自我验证、反思、长链思维推理，甚至“顿悟时刻（Aha Moment）”——模型学会为问题分配更多思考时间。相关文档记载，R1-Zero 在 AIME 2024 推理基准上的 Pass@1 从 15.6% 跃升至 71.0%。但它存在输出可读性差、语言混杂等明显局限。

DeepSeek-R1则在 R1-Zero 基础上引入了四个阶段：

1. 冷启动（CoT SFT）：用数千条人工收集的高质量长链思维（CoT）数据对 V3-Base 做有监督微调，确立规范推理格式，防止 RL 初期盲目探索；
2. 面向推理的强化学习：基于 GRPO 强化推理能力，引入语言一致性奖励解决语言混杂问题；
3. 拒绝采样与 SFT：从 RL 检查点采样并筛选高质量数据（约 60 万推理数据 + 20 万非推理数据），扩展写作、角色扮演等通用能力；
4. 全场景强化学习与对齐：混合规则奖励与人类偏好奖励，优化有用性（Helpfulness）与无害性（Harmlessness）。

此外，为了把推理能力迁移到资源受限的端侧场景，DeepSeek 还基于 Llama 与 Qwen 系列开源模型做了R1 蒸馏（Distill），产出了从 1.5B 到 70B 的系列稠密小模型，详见 DeepSeek技术解读：从V3到R1的MoE架构创新 中的蒸馏模型对照表。

四、关键技术革新：效率与拓展的双轮驱动

4.1 高效推理引擎：速度的飞跃

推理速度是衡量模型性能的关键指标。DeepSeek 采用了两类加速手段：

• FlashAttention 优化：充分利用 GPU 显存带宽优势，通过重新排列计算顺序，将注意力计算的内存使用量从序列长度的二次方降低到线性，大幅减少内存读写次数。原文档给出的量化结果是实现 30% 以上的延迟缩减。
• 动态批处理：根据请求复杂度灵活调整批次大小——简单请求增大批次提高吞吐，复杂请求减小批次保证准确率。

4.2 多模态拓展：感知的融合

DeepSeek 通过统一表征空间和多模态推理引擎实现文本、图像、视频等多模态融合：

• 通过 CLIP-style 对比学习构建统一表征空间，使文本、图像、视频的嵌入向量实现精准对齐，支持跨模态检索与生成（如图片检索文本、文本生成图像）；
• 融合视觉 Transformer（ViT）与语言模型打造多模态推理引擎，支撑图文问答（VQA）、视频描述生成等前沿应用。

需要说明的是，上述多模态能力在原文档中以产品化描述呈现；从仓库源码结构看，该仓库本身为文档型项目，不包含多模态模型实现，相关描述应作为架构理念与能力方向的参考。

4.3 资源效率提升：轻量化的智慧

在实际应用中，DeepSeek 通过三类技术实现模型轻量化：

• 参数高效微调（PEFT）：采用 LoRA 等方法，原文档表述为只需训练约 1% 的参数即可快速适应新任务，显存节省高达 90%；
• 量化：支持 INT8 量化，降低参数与计算精度、减少内存占用和计算量，使 10B 级别模型能在手机等边缘设备上运行；
• 蒸馏：将大模型知识“蒸馏”到小模型，使小模型具备与大模型相近的性能。

4.4 训练侧的工程级效率：FP8、DualPipe 与通信优化

原文档聚焦推理效率，本仓库的 DeepSeek-V3 高效训练关键技术分析 则补齐了训练侧的硬核细节，这也是 DeepSeek 能“以少量算力训练出对标 GPT-4o 级别模型”的关键：

1. FP8 混合精度训练：对占据大量计算的 GEMM 矩阵乘法采用 FP8 精度执行，配合分块量化（按 1×128 激活块 / 128×128 权重块分组缩放）、在线量化（动态计算缩放因子）与高精度累加（中间累加升级为 FP32）三种精细量化策略，在提速、省显存的同时控制量化误差；嵌入、门控、归一化、注意力等对精度敏感的算子保持 BF16/FP32 高精度。
2. DualPipe 双向流水线调度：将前向与反向传播中的计算流（ATTN、MLP）和通信流（DISPATCH、COMBINE）高度重叠，双向同时调度微批次，减少流水线气泡，解决跨节点专家并行带来的通信开销。
3. 跨节点 All-to-All 通信内核：限制每个 Token 最多路由到 4 个节点以减少 IB 流量；利用定制 PTX 指令划分 20 个 SM 专用于通信，动态分配 warp 资源，充分利用 InfiniBand（IB）与 NVLink 带宽。
4. 并行策略：采用 16 路流水线并行（PP）、跨越 8 个节点的 64 路专家并行（EP）与 ZeRO-1 数据并行（DP），以 EP 替代张量并行（TP），与 MoE 结构天然匹配、通信成本更低。
5. 显存节省组合拳：RMSNorm 与 MLA Up-Projection 反向重计算、EMA 指数移动平均卸载到 CPU 异步更新、embedding 层与 lm_head 层（输出头）参数共享、多 Token 预测（MTP）共享嵌入与输出头。

其中MTP（多 Token 预测）值得一提：它在训练阶段一次预测多个 Token，提升数据利用效率与训练效果；相关文档记载推理阶段生成速度可提升约 1.8 倍。这与原文档提到的“动态批处理”共同构成了 DeepSeek 高吞吐的另一来源。

五、应用场景：落地开花的 AI 硕果

5.1 企业服务：智能办公新助手

• 智能客服：7×24 小时全天候自动化应答，支持多轮对话与情感智能分析；
• 金融分析：财报摘要自动生成、风险事件预测、投研报告智能撰写，集成时序数据分析引擎，对股价波动、宏观经济指标等进行联合建模。

5.2 多模态交互：工业与教育的新变革

• 工业质检：从图像识别（缺陷检测）到文本生成（维修建议）再到语音指导（操作辅助）的全流程智能化；
• 教育辅助：手写公式智能识别、解题步骤自动生成、错题知识点精准归纳，结合知识图谱精准定位学生知识短板并推荐个性化练习。

5.3 垂直领域定制：医疗与法律的新助力

• 医疗：输入患者主诉、检索相似病例，生成鉴别诊断列表，辅助医生诊断；
• 法律：合同条款智能审查、争议焦点提取、判决书自动生成，内置法律条文数据库支持更新对接。

提示：原文档中的“客服问题解决率飙升 40%”“漏检率从 5% 降至 0.3%”等数据来源于第三方行业报道，无法在仓库内得到验证，本文仅作为能力方向的参考，不作为可量化的事实结论。

六、挑战与展望

DeepSeek 在取得显著成就的同时也面临真实的技术挑战：

• 长上下文建模：处理超过 100K tokens 的文本时，如何保持信息的一致性与准确性仍是难题——文本增长可能带来信息丢失、语义理解偏差，影响长文档摘要、复杂问答等任务表现；
• 多模态对齐精度：精确关联视频时序信息与语言描述等仍存在提升空间，视频描述生成可能无法与每一帧内容完全匹配；
• MoE 架构的固有复杂度：专家路由的精确控制、专家选择的潜在偏差、训练数据量要求高、奖励机制可能被“奖励滥用”等问题（详见 DeepSeek的优势与不足）；
• 硬件与部署成本：大规模部署仍依赖高性能硬件与分布式资源，端侧推理则依赖蒸馏小模型。

未来方向包括：与机器人硬件深度融合的具身智能（理解语言指令并在复杂环境中完成任务）、通过自动合成训练数据持续迭代的自进化系统、以及优化能效比的绿色 AI愿景。

七、总结

DeepSeek 的技术路径可以提炼为一条清晰的主线：在 Transformer 基础上，用稀疏注意力与 MLA 解决长序列效率问题，用动态路由与 DeepSeekMoE（细粒度专家 + 共享专家 + 无辅助损失负载均衡）解决容量与成本问题，用多阶段训练（预训练 → 对齐 → 微调 → R1 四阶段推理强化）解决能力与价值观问题，再用 FP8、DualPipe、All-to-All 通信优化等软硬件协同手段把工程效率推到极致。

从工程视角看，DeepSeek 的价值不仅是模型本身，更在于它示范了一条“算法创新 + 极致集群优化”的路线：更少的算力可以训练出同等水平的大模型，开源策略也让开发者得以在本地完成部署、微调与二次开发（相关部署与使用教程可参考 DeepSeek 本地部署教程 与 DeepSeek 官方整理的模型应用和工具）。理解这套架构，将帮助你在大模型选型、推理成本估算和行业落地中做出更理性的决策。

• 文档
• 教程
• 知识库
• 人工智能