深入解析DeepSeek-V4-Pro-MXFP4量化原理AMD Quark如何将MoE专家层压缩到MXFP4【免费下载链接】DeepSeek-V4-Pro-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-MXFP4在深度学习推理领域DeepSeek-V4-Pro-MXFP4量化原理是当前大模型部署中最值得关注的话题之一。这个由AMD开源的量化模型基于AMD Quark工具链将DeepSeek-V4-Pro的384个MoE专家层权重压缩到MXFP44位浮点格式在AMD MI350/MI355gfx950上实现了接近无损的精度恢复——GSM8K准确率恢复高达99.0%。本篇文章将用通俗易懂的方式带你一步步拆解这个MXFP4量化过程背后的核心机制。什么是DeepSeek-V4-Pro-MXFP4amd/DeepSeek-V4-Pro-MXFP4是 DeepSeek-V4-Pro 的量化衍生模型采用DeepseekV4ForCausalLM架构由 AMD 使用AMD Quarkv0.12.0优化器完成量化。它最核心的特点是只量化 MoE 专家层所有 routed路由 shared共享专家投影w1/w2/w3被压缩到 MXFP4其他模块保持原精度注意力、MoE路由门控、归一化层、嵌入层、输出头及MTP块全部通过排除列表exclude list保留为 BF16权重静态量化 激活动态量化权重用静态MXFP4激活用动态MXFP4模型规模相当庞大61层、384个路由专家、每token激活6个专家topk6、专家中间维度3072权重文件拆分为64个safetensors分片。为什么要做MXFP4量化——大模型的内存危机训练好的大模型动辄数百GB直接部署在单卡上几乎不可能。以DeepSeek-V4-Pro这类MoE架构为例存储格式每个权重占用说明BF162字节原始精度体积最大FP8e4m31字节体积减半FP4e2m10.5字节体积仅为BF16的1/4MXFP4把每个权重压缩到4位配合AMD MI350系列硬件原生的FP4计算单元既能大幅降低显存占用又能提升推理吞吐。这就是DeepSeek-V4-Pro-MXFP4量化原理的核心价值用更小的体积跑出接近原版的精度。MXFP4是什么4位浮点为何能装下精度MXFP4是OCP开放计算项目定义的Microscaling格式它的精妙之处在于共享缩放因子数据本身用4位存储格式为 e2m11位符号 2位指数 1位尾数只能表达16个数值每32个元素共享一个8位缩放因子e8m0格式2的幂次2个4位数值打包进1个字节硬件读取效率翻倍在convert.py中可以看到FP4的完整取值表索引01234567正值00.51.01.52.03.04.06.0负值0-0.5-1.0-1.5-2.0-3.0-4.0-6.0关键技巧单个FP4精度很低但通过分组缩放——每组32个元素乘以一个合适的2的幂次缩放因子就能把每组数据的动态范围拉伸到合理区间从而保留权重分布的相对关系。这就是MXFP4能在4位精度下保持高准确率的原因。AMD Quark量化流程三步走压缩MoE专家层DeepSeek-V4-Pro-MXFP4的量化脚本非常简洁核心就三行from quark.torch import ModelQuantizer from quark.torch.quantization.config.template import LLMTemplate template LLMTemplate.get(deepseek_v4) qconfig template.get_config(schememxfp4) ModelQuantizer(qconfig).direct_quantize_checkpoint( pretrained_model_pathDSV4_Pro_src_path, save_pathoutput_dir, keep_excluded_layers_as_original_model_stateTrue, )整个量化管线可以拆解为三个关键环节第一步模板配置LLMTemplateAMD Quark内置了deepseek_v4专属模板开发者无需手动逐层配置量化方案只需指定schememxfp4工具链会自动为所有路由专家和共享专家生成MXFP4量化配置。第二步权重静态量化 激活动态量化从仓库根目录的config.json中的quantization_config可以看到精细的参数设计配置项权重Weight激活Activation数据类型fp4e2m1fp4e2m1量化方式静态训练时校准好缩放因子动态推理时实时计算缩放分组大小32per-group32per-group缩放因子格式e8m0e8m0观察器PerBlockMXObserverPerBlockMXObserver静态量化让权重缩放因子固定推理时零额外开销动态量化则让激活值在每一层实时适配数据分布弥补4位精度的不足。第三步排除列表Exclude List保住关键精度Quark量化的精髓在于**该压的压不该压的不动**。从config.json的exclude字段可以看到所有layers.*.attn.compressor.*、layers.*.ffn.gate、head、mtp.0.ffn.gate等敏感层都被排除在量化之外保持原始BF16精度。注意力、门控、输出头这类对精度极度敏感、计算量占比小的模块量化收益低、风险高保留原精度是最优策略。推理侧如何解压和计算——内核级的FP4支持⚙️量化只是第一步推理时如何高效使用FP4权重同样关键。仓库的inference目录提供了完整的推理实现kernel.py 使用TileLang编写了fp4_quant_kernelFP4量化内核和fp4_gemmFP4矩阵乘通过位运算快速计算2的幂次缩放因子并在共享内存中完成FP4×FP8混合精度GEMMmodel.py 中的linear()函数会根据权重dtype自动分派float4_e2m1fn_x2权重走act_quant fp4_gemm路径无需显式解压即可直接计算convert.py 负责把HuggingFace权重转换为本项目格式其中cast_e2m1fn_to_e4m3fn函数甚至支持FP4到FP8的无损转换这种量化原生内核计算的设计让MXFP4权重在AMD MI350上能以硬件原生的FP4算力运行而不是先解压成BF16再计算——这正是性能提升的关键。精度表现99.0%的惊人恢复率量化必然带来精度损失但DeepSeek-V4-Pro-MXFP4交出了几乎完美的答卷数据来自仓库README.md基准测试DeepSeek-V4-Pro原版DeepSeek-V4-Pro-MXFP4恢复率GSM8K8-shot严格匹配94.9093.699.0%在GSM8K数学推理任务上MXFP4量化模型仅损失1.3个百分点。这说明**只量化MoE专家层 分组缩放 排除敏感层**的组合策略有效保护了模型的核心推理能力。如何在AMD MI350上部署一步到位的vLLM指南官方推荐使用vLLM推理引擎Docker镜像rocm/vllm-dev:nightly_main_20260714关键启动参数如下export VLLM_ROCM_USE_AITER1 export VLLM_ROCM_USE_AITER_FUSION_SHARED_EXPERTS1 vllm serve amd/DeepSeek-V4-Pro-MXFP4 --tensor-parallel-size 4 --kv-cache-dtype fp8 \ --trust-remote-code --tokenizer-mode deepseek_v4 --reasoning-parser deepseek_v4 \ --tool-call-parser deepseek_v4 --enable-auto-tool-choice \ --compilation-config {mode: 3, cudagraph_mode: FULL_DECODE_ONLY}两个关键环境变量VLLM_ROCM_USE_AITER开启AMD优化的AITER内核VLLM_ROCM_USE_AITER_FUSION_SHARED_EXPERTS融合共享专家计算两者叠加才能充分发挥MXFP4硬件的全部潜力。如果想本地复现可以克隆仓库git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-MXFP4仓库结构速览快速定位关键文件如果你希望深入研究实现细节仓库结构非常清晰config.json完整的量化配置quantization_config包含每层专家的量化参数inference/kernel.pyFP4/FP8量化与GEMM内核源码inference/model.py模型定义与FP4权重分派逻辑inference/convert.py权重格式转换与FP4→FP8无损转换inference/generate.py单机/多机推理入口encoding/encoding_dsv4.pyDeepSeek-V4专用提示词编码支持思考模式、工具调用encoding/tests编码器测试用例总结MXFP4量化的三大启示量化要挑着压只量化占体积大头、容错性高的MoE专家层敏感模块保留原精度是精度与体积的最优平衡点共享缩放是4位精度的救星per-32分组 e8m0幂次缩放让FP4有限的数值表达能力覆盖真实权重分布软硬协同才有效MXFP4的价值依赖AMD MI350原生FP4算力量化模型 专用内核 vLLM优化三者缺一不可对于希望在AMD平台上低成本部署超大MoE模型、又不想牺牲太多精度的开发者来说DeepSeek-V4-Pro-MXFP4提供了一个教科书级的参考实现——它证明了4位量化精准的层选择策略完全可以让顶级大模型瘦身后依然聪慧如初。【免费下载链接】DeepSeek-V4-Pro-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-MXFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 深入解析DeepSeek-V4-Pro-MXFP4量化原理：AMD Quark如何将MoE专家层压缩到MXFP4？
深入解析DeepSeek-V4-Pro-MXFP4量化原理AMD Quark如何将MoE专家层压缩到MXFP4【免费下载链接】DeepSeek-V4-Pro-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-MXFP4在深度学习推理领域DeepSeek-V4-Pro-MXFP4量化原理是当前大模型部署中最值得关注的话题之一。这个由AMD开源的量化模型基于AMD Quark工具链将DeepSeek-V4-Pro的384个MoE专家层权重压缩到MXFP44位浮点格式在AMD MI350/MI355gfx950上实现了接近无损的精度恢复——GSM8K准确率恢复高达99.0%。本篇文章将用通俗易懂的方式带你一步步拆解这个MXFP4量化过程背后的核心机制。什么是DeepSeek-V4-Pro-MXFP4amd/DeepSeek-V4-Pro-MXFP4是 DeepSeek-V4-Pro 的量化衍生模型采用DeepseekV4ForCausalLM架构由 AMD 使用AMD Quarkv0.12.0优化器完成量化。它最核心的特点是只量化 MoE 专家层所有 routed路由 shared共享专家投影w1/w2/w3被压缩到 MXFP4其他模块保持原精度注意力、MoE路由门控、归一化层、嵌入层、输出头及MTP块全部通过排除列表exclude list保留为 BF16权重静态量化 激活动态量化权重用静态MXFP4激活用动态MXFP4模型规模相当庞大61层、384个路由专家、每token激活6个专家topk6、专家中间维度3072权重文件拆分为64个safetensors分片。为什么要做MXFP4量化——大模型的内存危机训练好的大模型动辄数百GB直接部署在单卡上几乎不可能。以DeepSeek-V4-Pro这类MoE架构为例存储格式每个权重占用说明BF162字节原始精度体积最大FP8e4m31字节体积减半FP4e2m10.5字节体积仅为BF16的1/4MXFP4把每个权重压缩到4位配合AMD MI350系列硬件原生的FP4计算单元既能大幅降低显存占用又能提升推理吞吐。这就是DeepSeek-V4-Pro-MXFP4量化原理的核心价值用更小的体积跑出接近原版的精度。MXFP4是什么4位浮点为何能装下精度MXFP4是OCP开放计算项目定义的Microscaling格式它的精妙之处在于共享缩放因子数据本身用4位存储格式为 e2m11位符号 2位指数 1位尾数只能表达16个数值每32个元素共享一个8位缩放因子e8m0格式2的幂次2个4位数值打包进1个字节硬件读取效率翻倍在convert.py中可以看到FP4的完整取值表索引01234567正值00.51.01.52.03.04.06.0负值0-0.5-1.0-1.5-2.0-3.0-4.0-6.0关键技巧单个FP4精度很低但通过分组缩放——每组32个元素乘以一个合适的2的幂次缩放因子就能把每组数据的动态范围拉伸到合理区间从而保留权重分布的相对关系。这就是MXFP4能在4位精度下保持高准确率的原因。AMD Quark量化流程三步走压缩MoE专家层DeepSeek-V4-Pro-MXFP4的量化脚本非常简洁核心就三行from quark.torch import ModelQuantizer from quark.torch.quantization.config.template import LLMTemplate template LLMTemplate.get(deepseek_v4) qconfig template.get_config(schememxfp4) ModelQuantizer(qconfig).direct_quantize_checkpoint( pretrained_model_pathDSV4_Pro_src_path, save_pathoutput_dir, keep_excluded_layers_as_original_model_stateTrue, )整个量化管线可以拆解为三个关键环节第一步模板配置LLMTemplateAMD Quark内置了deepseek_v4专属模板开发者无需手动逐层配置量化方案只需指定schememxfp4工具链会自动为所有路由专家和共享专家生成MXFP4量化配置。第二步权重静态量化 激活动态量化从仓库根目录的config.json中的quantization_config可以看到精细的参数设计配置项权重Weight激活Activation数据类型fp4e2m1fp4e2m1量化方式静态训练时校准好缩放因子动态推理时实时计算缩放分组大小32per-group32per-group缩放因子格式e8m0e8m0观察器PerBlockMXObserverPerBlockMXObserver静态量化让权重缩放因子固定推理时零额外开销动态量化则让激活值在每一层实时适配数据分布弥补4位精度的不足。第三步排除列表Exclude List保住关键精度Quark量化的精髓在于**该压的压不该压的不动**。从config.json的exclude字段可以看到所有layers.*.attn.compressor.*、layers.*.ffn.gate、head、mtp.0.ffn.gate等敏感层都被排除在量化之外保持原始BF16精度。注意力、门控、输出头这类对精度极度敏感、计算量占比小的模块量化收益低、风险高保留原精度是最优策略。推理侧如何解压和计算——内核级的FP4支持⚙️量化只是第一步推理时如何高效使用FP4权重同样关键。仓库的inference目录提供了完整的推理实现kernel.py 使用TileLang编写了fp4_quant_kernelFP4量化内核和fp4_gemmFP4矩阵乘通过位运算快速计算2的幂次缩放因子并在共享内存中完成FP4×FP8混合精度GEMMmodel.py 中的linear()函数会根据权重dtype自动分派float4_e2m1fn_x2权重走act_quant fp4_gemm路径无需显式解压即可直接计算convert.py 负责把HuggingFace权重转换为本项目格式其中cast_e2m1fn_to_e4m3fn函数甚至支持FP4到FP8的无损转换这种量化原生内核计算的设计让MXFP4权重在AMD MI350上能以硬件原生的FP4算力运行而不是先解压成BF16再计算——这正是性能提升的关键。精度表现99.0%的惊人恢复率量化必然带来精度损失但DeepSeek-V4-Pro-MXFP4交出了几乎完美的答卷数据来自仓库README.md基准测试DeepSeek-V4-Pro原版DeepSeek-V4-Pro-MXFP4恢复率GSM8K8-shot严格匹配94.9093.699.0%在GSM8K数学推理任务上MXFP4量化模型仅损失1.3个百分点。这说明**只量化MoE专家层 分组缩放 排除敏感层**的组合策略有效保护了模型的核心推理能力。如何在AMD MI350上部署一步到位的vLLM指南官方推荐使用vLLM推理引擎Docker镜像rocm/vllm-dev:nightly_main_20260714关键启动参数如下export VLLM_ROCM_USE_AITER1 export VLLM_ROCM_USE_AITER_FUSION_SHARED_EXPERTS1 vllm serve amd/DeepSeek-V4-Pro-MXFP4 --tensor-parallel-size 4 --kv-cache-dtype fp8 \ --trust-remote-code --tokenizer-mode deepseek_v4 --reasoning-parser deepseek_v4 \ --tool-call-parser deepseek_v4 --enable-auto-tool-choice \ --compilation-config {mode: 3, cudagraph_mode: FULL_DECODE_ONLY}两个关键环境变量VLLM_ROCM_USE_AITER开启AMD优化的AITER内核VLLM_ROCM_USE_AITER_FUSION_SHARED_EXPERTS融合共享专家计算两者叠加才能充分发挥MXFP4硬件的全部潜力。如果想本地复现可以克隆仓库git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-MXFP4仓库结构速览快速定位关键文件如果你希望深入研究实现细节仓库结构非常清晰config.json完整的量化配置quantization_config包含每层专家的量化参数inference/kernel.pyFP4/FP8量化与GEMM内核源码inference/model.py模型定义与FP4权重分派逻辑inference/convert.py权重格式转换与FP4→FP8无损转换inference/generate.py单机/多机推理入口encoding/encoding_dsv4.pyDeepSeek-V4专用提示词编码支持思考模式、工具调用encoding/tests编码器测试用例总结MXFP4量化的三大启示量化要挑着压只量化占体积大头、容错性高的MoE专家层敏感模块保留原精度是精度与体积的最优平衡点共享缩放是4位精度的救星per-32分组 e8m0幂次缩放让FP4有限的数值表达能力覆盖真实权重分布软硬协同才有效MXFP4的价值依赖AMD MI350原生FP4算力量化模型 专用内核 vLLM优化三者缺一不可对于希望在AMD平台上低成本部署超大MoE模型、又不想牺牲太多精度的开发者来说DeepSeek-V4-Pro-MXFP4提供了一个教科书级的参考实现——它证明了4位量化精准的层选择策略完全可以让顶级大模型瘦身后依然聪慧如初。【免费下载链接】DeepSeek-V4-Pro-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-MXFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考