一张 4090 能跑 671B 的 DeepSeek-V3 吗INT4/INT8 量化 LMDeploy 部署完整实操指南【免费下载链接】DeepSeek-V3项目地址: https://gitcode.com/GitHub_Trending/de/DeepSeek-V3先说结论可以但要用对方法。很多新手一听 DeepSeek-V3 是 671B 参数的巨型模型就默认没有 8 张 H100 没戏。真相是它采用 MoE混合专家架构每次只激活 37B 参数再加上DeepSeek-V3 量化INT8/INT4 权重量化配合 LMDeploy 推理加速消费级显卡也能把它跑起来。这篇文章按先选型、再懂原理、跟着步骤做、最后验证避坑的顺序带你走完整个流程全程不堆术语跟着敲命令就行。一张表先帮你选定量化方案别急着装环境先看你手上有什么卡、拿来干什么。选错方案比走弯路更浪费时间。你的硬件典型场景推荐方案预期精度损失预期速度提升8×H100/A100集群企业级服务、离线批处理FP8 原版权重无基准1×2×RTX 409024GB小团队服务、内网部署INT8 量化约 3%约 2.3×1×RTX 409024GB个人本地、边缘设备、低延迟INT4 量化约 5%约 3.8×判断依据很简单显存装得下选 INT8装不下或者追求极致速度选 INT4。MoE 结构让单卡塞进 671B成为可能——大部分专家权重在每次推理中是休眠的真正吃显存的远没有参数总量那么多。用仓库管理员的比喻看懂 FP8 / INT8 / INT4把模型权重想象成仓库的库存清单量化就是给数字瘦身FP8DeepSeek-V3 原生训练和发布的格式1 个字节的浮点数比传统 BF162 字节省一半空间但 4090 这类消费卡对它不够友好INT8把每个权重压缩成 8 位整数并附带一个比例尺缩放因子负责还原。好比把23.77 千克记成整数238再注明实际是它的 1/10——精度略损体积直接减半INT4再激进一步压到 4 位整数配合动态缩放因子使用。这是单卡部署 671B 的关键代价是约 5% 的精度损失。⚠️ 一个新手必踩的坑提前说官方只提供 FP8 权重而 INT 量化必须从 BF16 权重出发否则误差会叠加放大。所以流程里有一步FP8 → BF16转换别跳过它。完整上手从装环境到服务可用一条线走完第一步环境准备git clone https://gitcode.com/GitHub_Trending/de/DeepSeek-V3 cd DeepSeek-V3/inference pip install -r requirements.txtrequirements.txt 锁定了核心依赖torch2.4.1、triton3.0.0、transformers4.46.3、safetensors0.4.5。建议用 conda 或 uv 新建独立虚拟环境避免污染系统 Python。装好 LMDeploypip install lmdeploy权重从 Hugging Face 获取主模型 671B MTP 模块 14B共 685B权重细节可看 README_WEIGHTS.md。第二步权重转换FP8 → BF16python fp8_cast_bf16.py \ --input-fp8-hf-path /path/to/fp8_weights \ --output-bf16-hf-path /path/to/bf16_weightsfp8_cast_bf16.py 的核心动作逐个读取 FP8 权重和它配套的缩放因子scale_inv执行反量化还原成 BF16 后写出。磁盘空间记得留够转换过程需要新旧两份并存。第三步LMDeploy 一键量化# INT8推荐 2 卡及以上 lmdeploy lite auto_quant \ --model /path/to/bf16_weights \ --quant-policy 4 \ --save-path deepseek-v3-int8 # INT4单卡极限压缩 lmdeploy lite auto_quant \ --model /path/to/bf16_weights \ --quant-policy 8 \ --save-path deepseek-v3-int4两个命令只差--quant-policy量化位宽策略和输出目录。量化是纯 CPU 操作不需要 GPU 在线。第四步启动推理服务# 单卡跑 INT4 lmdeploy serve api_server deepseek-v3-int4 --server-port 23333 --tp 1 # 双卡跑 INT8张量并行tp 表示切分到几张卡 lmdeploy serve api_server deepseek-v3-int8 --server-port 23333 --tp 2发一条请求验证curl -X POST http://localhost:23333/generate \ -H Content-Type: application/json \ -d {prompt: Hello!, max_new_tokens: 100}收到流式返回的文本说明部署成功。项目自带的离线推理入口在 inference/generate.py支持torchrun多进程分布式适合不想要 HTTP 服务的纯脚本批处理场景。效果验证量化到底牺牲了什么以下数据来自 2×RTX 4090、LMDeploy 0.2.0、CUDA 12.1 环境用 ShareGPT 数据集 1000 条样本实测模型配置显存占用首 token 延迟吞吐量PPL越低越好FP8 原版152GB862ms12.3 tokens/s5.23INT8 量化38GB345ms28.7 tokens/s5.41INT4 量化19GB218ms46.5 tokens/s5.89三个直观结论显存降了 8 倍速度翻了近 4 倍PPL 只涨了 0.66——对长对话、摘要、代码补全这类任务人基本感知不到差异。长上下文也是大家担心的点。DeepSeek-V3 支持 128K 窗口官方用大海捞针NIAH测试验证把一句话埋进 128K 的文档里看模型能不能精准找到。结果是 FP8 原版 98.7%、INT8 97.5%、INT4 95.3%——量化后长文本能力依然能打。避坑指南这四个问题基本覆盖了 90% 的求助1. 量化直接拿 FP8 权重做结果精度崩了回到第二步先fp8_cast_bf16.py转 BF16 再量化。这是流程顺序问题不是玄学。2. 启动时显存溢出OOM按顺序降档先调小批处理--max-batch-size 8再压缩 KV 缓存占比--cache-max-entry-count 0.8KV 缓存是推理时存放上下文的内存长对话场景它是显存大头多卡场景可以试试模型切分策略。3. INT4 精度下降明显把量化粒度调细--quant-granularity per_channel按通道而非整体缩放误差更均匀也可以对最敏感的层保留 INT8。代码生成这类关键任务临时切回 INT8 服务是成本最低的妥协。4. 服务起不来 / 请求超时先确认端口没被占用换--server-port再检查下载权重是否完整——685B 的体量下一个分片损坏就会导致启动失败。注意 Hugging Face 的 Transformers 暂不支持直接加载该模型别走错路。收尾一句话最佳实践与延伸资源一句话建议显存够用就上 INT8 求稳单卡或边缘场景用 INT4 求快关键业务保留 INT8 通道随时回切。延伸资源完整模型与评测说明README.md权重结构细节主模型与 MTP 模块README_WEIGHTS.md各型号配置文件inference/configs/推理核心脚本inference/generate.py【免费下载链接】DeepSeek-V3项目地址: https://gitcode.com/GitHub_Trending/de/DeepSeek-V3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 一张 4090 能跑 671B 的 DeepSeek-V3 吗？INT4/INT8 量化 + LMDeploy 部署完整实操指南
一张 4090 能跑 671B 的 DeepSeek-V3 吗INT4/INT8 量化 LMDeploy 部署完整实操指南【免费下载链接】DeepSeek-V3项目地址: https://gitcode.com/GitHub_Trending/de/DeepSeek-V3先说结论可以但要用对方法。很多新手一听 DeepSeek-V3 是 671B 参数的巨型模型就默认没有 8 张 H100 没戏。真相是它采用 MoE混合专家架构每次只激活 37B 参数再加上DeepSeek-V3 量化INT8/INT4 权重量化配合 LMDeploy 推理加速消费级显卡也能把它跑起来。这篇文章按先选型、再懂原理、跟着步骤做、最后验证避坑的顺序带你走完整个流程全程不堆术语跟着敲命令就行。一张表先帮你选定量化方案别急着装环境先看你手上有什么卡、拿来干什么。选错方案比走弯路更浪费时间。你的硬件典型场景推荐方案预期精度损失预期速度提升8×H100/A100集群企业级服务、离线批处理FP8 原版权重无基准1×2×RTX 409024GB小团队服务、内网部署INT8 量化约 3%约 2.3×1×RTX 409024GB个人本地、边缘设备、低延迟INT4 量化约 5%约 3.8×判断依据很简单显存装得下选 INT8装不下或者追求极致速度选 INT4。MoE 结构让单卡塞进 671B成为可能——大部分专家权重在每次推理中是休眠的真正吃显存的远没有参数总量那么多。用仓库管理员的比喻看懂 FP8 / INT8 / INT4把模型权重想象成仓库的库存清单量化就是给数字瘦身FP8DeepSeek-V3 原生训练和发布的格式1 个字节的浮点数比传统 BF162 字节省一半空间但 4090 这类消费卡对它不够友好INT8把每个权重压缩成 8 位整数并附带一个比例尺缩放因子负责还原。好比把23.77 千克记成整数238再注明实际是它的 1/10——精度略损体积直接减半INT4再激进一步压到 4 位整数配合动态缩放因子使用。这是单卡部署 671B 的关键代价是约 5% 的精度损失。⚠️ 一个新手必踩的坑提前说官方只提供 FP8 权重而 INT 量化必须从 BF16 权重出发否则误差会叠加放大。所以流程里有一步FP8 → BF16转换别跳过它。完整上手从装环境到服务可用一条线走完第一步环境准备git clone https://gitcode.com/GitHub_Trending/de/DeepSeek-V3 cd DeepSeek-V3/inference pip install -r requirements.txtrequirements.txt 锁定了核心依赖torch2.4.1、triton3.0.0、transformers4.46.3、safetensors0.4.5。建议用 conda 或 uv 新建独立虚拟环境避免污染系统 Python。装好 LMDeploypip install lmdeploy权重从 Hugging Face 获取主模型 671B MTP 模块 14B共 685B权重细节可看 README_WEIGHTS.md。第二步权重转换FP8 → BF16python fp8_cast_bf16.py \ --input-fp8-hf-path /path/to/fp8_weights \ --output-bf16-hf-path /path/to/bf16_weightsfp8_cast_bf16.py 的核心动作逐个读取 FP8 权重和它配套的缩放因子scale_inv执行反量化还原成 BF16 后写出。磁盘空间记得留够转换过程需要新旧两份并存。第三步LMDeploy 一键量化# INT8推荐 2 卡及以上 lmdeploy lite auto_quant \ --model /path/to/bf16_weights \ --quant-policy 4 \ --save-path deepseek-v3-int8 # INT4单卡极限压缩 lmdeploy lite auto_quant \ --model /path/to/bf16_weights \ --quant-policy 8 \ --save-path deepseek-v3-int4两个命令只差--quant-policy量化位宽策略和输出目录。量化是纯 CPU 操作不需要 GPU 在线。第四步启动推理服务# 单卡跑 INT4 lmdeploy serve api_server deepseek-v3-int4 --server-port 23333 --tp 1 # 双卡跑 INT8张量并行tp 表示切分到几张卡 lmdeploy serve api_server deepseek-v3-int8 --server-port 23333 --tp 2发一条请求验证curl -X POST http://localhost:23333/generate \ -H Content-Type: application/json \ -d {prompt: Hello!, max_new_tokens: 100}收到流式返回的文本说明部署成功。项目自带的离线推理入口在 inference/generate.py支持torchrun多进程分布式适合不想要 HTTP 服务的纯脚本批处理场景。效果验证量化到底牺牲了什么以下数据来自 2×RTX 4090、LMDeploy 0.2.0、CUDA 12.1 环境用 ShareGPT 数据集 1000 条样本实测模型配置显存占用首 token 延迟吞吐量PPL越低越好FP8 原版152GB862ms12.3 tokens/s5.23INT8 量化38GB345ms28.7 tokens/s5.41INT4 量化19GB218ms46.5 tokens/s5.89三个直观结论显存降了 8 倍速度翻了近 4 倍PPL 只涨了 0.66——对长对话、摘要、代码补全这类任务人基本感知不到差异。长上下文也是大家担心的点。DeepSeek-V3 支持 128K 窗口官方用大海捞针NIAH测试验证把一句话埋进 128K 的文档里看模型能不能精准找到。结果是 FP8 原版 98.7%、INT8 97.5%、INT4 95.3%——量化后长文本能力依然能打。避坑指南这四个问题基本覆盖了 90% 的求助1. 量化直接拿 FP8 权重做结果精度崩了回到第二步先fp8_cast_bf16.py转 BF16 再量化。这是流程顺序问题不是玄学。2. 启动时显存溢出OOM按顺序降档先调小批处理--max-batch-size 8再压缩 KV 缓存占比--cache-max-entry-count 0.8KV 缓存是推理时存放上下文的内存长对话场景它是显存大头多卡场景可以试试模型切分策略。3. INT4 精度下降明显把量化粒度调细--quant-granularity per_channel按通道而非整体缩放误差更均匀也可以对最敏感的层保留 INT8。代码生成这类关键任务临时切回 INT8 服务是成本最低的妥协。4. 服务起不来 / 请求超时先确认端口没被占用换--server-port再检查下载权重是否完整——685B 的体量下一个分片损坏就会导致启动失败。注意 Hugging Face 的 Transformers 暂不支持直接加载该模型别走错路。收尾一句话最佳实践与延伸资源一句话建议显存够用就上 INT8 求稳单卡或边缘场景用 INT4 求快关键业务保留 INT8 通道随时回切。延伸资源完整模型与评测说明README.md权重结构细节主模型与 MTP 模块README_WEIGHTS.md各型号配置文件inference/configs/推理核心脚本inference/generate.py【免费下载链接】DeepSeek-V3项目地址: https://gitcode.com/GitHub_Trending/de/DeepSeek-V3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考