GLM-5的DeepSeek稀疏注意力DSA部署成本如何降下来【免费下载链接】GLM-5GLM-5: From Vibe Coding to Agentic Engineering项目地址: https://gitcode.com/GitHub_Trending/gl/GLM-5GLM-5 是面向复杂系统工程与长程智能体任务的开源旗舰模型744B MoE、激活 40B它集成了DeepSeek 稀疏注意力DSA在保持长上下文能力的同时把推理计算量和显存开销降了下来——这正是部署成本如何降下来的核心答案 为什么 744B 模型的部署成本这么难降先看一下 GLM-5 的体型来自 README_zh.md维度GLM-4.5GLM-5总参数355B744B激活参数32B40B预训练数据23T tokens28.5T tokens对新手来说部署成本主要来自两块权重本身744B 参数量意味着需要多卡/多机分摊MoE 架构每次只激活 40B计算量可控但权重都得住在显存里KV Cache注意力缓存传统全量注意力要求模型对上下文里的每一个历史 token都做一次注意力计算。上下文越长缓存占用和计算量按平方级膨胀长文本场景下往往成为最贵的瓶颈。GLM-5 的解法不是砍能力而是换架构引入 DSA 稀疏注意力。一句话看懂 DSA只算值得看的位置可以这样理解 DSA 全量注意力像一个学生做阅读理解把整本书从头到尾逐字读一遍才能回答问题DSA稀疏注意力则是先用一个轻量的索引器快速扫一遍挑出和当前问题真正相关的少数关键位置再精读这几处。对长上下文来说要精读的位置远少于全部位置于是✅ 注意力计算量大幅下降解码速度更快✅ 实际维护的注意力状态更小长文本下显存压力缓解✅ 上下文长度能力不缩水长程任务照常做。用一句话概括就是长上下文能力保住了账单变薄了——这就是 README_zh.md 中在保持长上下文能力的同时大幅降低部署成本的出处。上图GLM-5 在 SWE-bench、Terminal-Bench、Vending Bench 2 等 8 项基准上与 GLM-4.7 及闭源前沿模型的对比稀疏注意力并未以性能为代价成本降了性能反而更强三组证据1️⃣ 基准测试开源第一梯队上图中 GLM-5 在多项测试中追平甚至超过闭源模型SWE-bench Verified 77.8、r²-Bench 89.7、Terminal-Bench 2.0 56.2全面领先上一代 GLM-4.7。2️⃣ 真实工程场景长程任务不掉链子内部 CC-Bench-V2 评测里GLM-5 前端构建成功率 98.0%、大仓库探索 65.6%——这类长任务恰恰是吃上下文最狠的场景说明稀疏注意力在长的场景下依然稳。3️⃣ 一年经营测试开源模型第一名Vending Bench 2 让模型运营一家模拟自动售货机业务长达 365 天GLM-5 最终余额$4,432在开源模型中排名第一逼近 Claude Opus 4.5——长时程规划与资源管理能力是长上下文能力的直接体现。后续优化GLM-5.2 把稀疏注意力又省了 2.9 倍值得了解的是这条路线还在持续降本。后继版本 GLM-5.2 提出了IndexShare每 4 层稀疏注意力共享同一个索引器在 1M token 上下文长度下把每 token 的 FLOPs 再降 2.9 倍同时改进 MTP 推测解码层接受长度提升最高 20%。上图GLM-5.2 在 SWE-bench Pro、Terminal-Bench 2.1 等 8 项基准上的表现当前最强开源模型最快上手路径本地部署 GLM-5 的 5 个要点想自己跑起来按下面清单准备即可下载权重GLM-5 提供 BF16 与 FP8 两种精度FP8 版GLM-5-FP8显存占用更省预算紧张优先选它选推理框架均已原生支持 GLM-5 系列SGLangv0.5.13.post1—— 吞吐优先vLLMv0.23.0—— 生态最成熟Transformersv0.5.12—— 快速验证KTransformers / Unsloth —— 硬件条件有限时的轻量方案国产算力可直上Ascend NPU 平台支持 vLLM-Ascend、xLLM、SGLang 部署官方还做了 MoE 融合算子、W8A8 量化、稀疏索引检索等针对性优化详见 example/ascend.md用参数控成本通过reasoning_effort参数控制思考力度——追求低延迟时显式传reasoning_efforthigh不需要深度推理时设置enable_thinkingfalse彻底关闭思考推理开销立省仓库获取git clone https://gitcode.com/GitHub_Trending/gl/GLM-5仓库内 requirements.txt 列出了环境依赖许可证见 LICENSE想给 Agent 挂载 GLM 官方技能目录可参考 skills/glm-master-skill/SKILL.md。总结DSA 省钱的完整逻辑成本项传统全量注意力集成 DSA 后的 GLM-5注意力计算量随上下文平方增长只精读索引选中的关键位置大幅压缩长文本显存压力随上下文快速膨胀显著缓解1M 级上下文可持续工作上下文能力越用越贵往往被迫截断完整保留长程任务不掉性能后续演进—GLM-5.2 IndexShare 再省 2.9× FLOPs一句话结论GLM-5 用 DSA 稀疏注意力把长上下文 高成本的等式改写了——计算只做在刀刃上成本自然降下来而基准成绩证明能力没有打折扣。对于预算有限又要长上下文的用户GLM-5-FP8 SGLang/vLLM 思考力度参数是当前性价比最高的组合 ✅【免费下载链接】GLM-5GLM-5: From Vibe Coding to Agentic Engineering项目地址: https://gitcode.com/GitHub_Trending/gl/GLM-5创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 GLM-5的DeepSeek稀疏注意力DSA：部署成本如何降下来？
GLM-5的DeepSeek稀疏注意力DSA部署成本如何降下来【免费下载链接】GLM-5GLM-5: From Vibe Coding to Agentic Engineering项目地址: https://gitcode.com/GitHub_Trending/gl/GLM-5GLM-5 是面向复杂系统工程与长程智能体任务的开源旗舰模型744B MoE、激活 40B它集成了DeepSeek 稀疏注意力DSA在保持长上下文能力的同时把推理计算量和显存开销降了下来——这正是部署成本如何降下来的核心答案 为什么 744B 模型的部署成本这么难降先看一下 GLM-5 的体型来自 README_zh.md维度GLM-4.5GLM-5总参数355B744B激活参数32B40B预训练数据23T tokens28.5T tokens对新手来说部署成本主要来自两块权重本身744B 参数量意味着需要多卡/多机分摊MoE 架构每次只激活 40B计算量可控但权重都得住在显存里KV Cache注意力缓存传统全量注意力要求模型对上下文里的每一个历史 token都做一次注意力计算。上下文越长缓存占用和计算量按平方级膨胀长文本场景下往往成为最贵的瓶颈。GLM-5 的解法不是砍能力而是换架构引入 DSA 稀疏注意力。一句话看懂 DSA只算值得看的位置可以这样理解 DSA 全量注意力像一个学生做阅读理解把整本书从头到尾逐字读一遍才能回答问题DSA稀疏注意力则是先用一个轻量的索引器快速扫一遍挑出和当前问题真正相关的少数关键位置再精读这几处。对长上下文来说要精读的位置远少于全部位置于是✅ 注意力计算量大幅下降解码速度更快✅ 实际维护的注意力状态更小长文本下显存压力缓解✅ 上下文长度能力不缩水长程任务照常做。用一句话概括就是长上下文能力保住了账单变薄了——这就是 README_zh.md 中在保持长上下文能力的同时大幅降低部署成本的出处。上图GLM-5 在 SWE-bench、Terminal-Bench、Vending Bench 2 等 8 项基准上与 GLM-4.7 及闭源前沿模型的对比稀疏注意力并未以性能为代价成本降了性能反而更强三组证据1️⃣ 基准测试开源第一梯队上图中 GLM-5 在多项测试中追平甚至超过闭源模型SWE-bench Verified 77.8、r²-Bench 89.7、Terminal-Bench 2.0 56.2全面领先上一代 GLM-4.7。2️⃣ 真实工程场景长程任务不掉链子内部 CC-Bench-V2 评测里GLM-5 前端构建成功率 98.0%、大仓库探索 65.6%——这类长任务恰恰是吃上下文最狠的场景说明稀疏注意力在长的场景下依然稳。3️⃣ 一年经营测试开源模型第一名Vending Bench 2 让模型运营一家模拟自动售货机业务长达 365 天GLM-5 最终余额$4,432在开源模型中排名第一逼近 Claude Opus 4.5——长时程规划与资源管理能力是长上下文能力的直接体现。后续优化GLM-5.2 把稀疏注意力又省了 2.9 倍值得了解的是这条路线还在持续降本。后继版本 GLM-5.2 提出了IndexShare每 4 层稀疏注意力共享同一个索引器在 1M token 上下文长度下把每 token 的 FLOPs 再降 2.9 倍同时改进 MTP 推测解码层接受长度提升最高 20%。上图GLM-5.2 在 SWE-bench Pro、Terminal-Bench 2.1 等 8 项基准上的表现当前最强开源模型最快上手路径本地部署 GLM-5 的 5 个要点想自己跑起来按下面清单准备即可下载权重GLM-5 提供 BF16 与 FP8 两种精度FP8 版GLM-5-FP8显存占用更省预算紧张优先选它选推理框架均已原生支持 GLM-5 系列SGLangv0.5.13.post1—— 吞吐优先vLLMv0.23.0—— 生态最成熟Transformersv0.5.12—— 快速验证KTransformers / Unsloth —— 硬件条件有限时的轻量方案国产算力可直上Ascend NPU 平台支持 vLLM-Ascend、xLLM、SGLang 部署官方还做了 MoE 融合算子、W8A8 量化、稀疏索引检索等针对性优化详见 example/ascend.md用参数控成本通过reasoning_effort参数控制思考力度——追求低延迟时显式传reasoning_efforthigh不需要深度推理时设置enable_thinkingfalse彻底关闭思考推理开销立省仓库获取git clone https://gitcode.com/GitHub_Trending/gl/GLM-5仓库内 requirements.txt 列出了环境依赖许可证见 LICENSE想给 Agent 挂载 GLM 官方技能目录可参考 skills/glm-master-skill/SKILL.md。总结DSA 省钱的完整逻辑成本项传统全量注意力集成 DSA 后的 GLM-5注意力计算量随上下文平方增长只精读索引选中的关键位置大幅压缩长文本显存压力随上下文快速膨胀显著缓解1M 级上下文可持续工作上下文能力越用越贵往往被迫截断完整保留长程任务不掉性能后续演进—GLM-5.2 IndexShare 再省 2.9× FLOPs一句话结论GLM-5 用 DSA 稀疏注意力把长上下文 高成本的等式改写了——计算只做在刀刃上成本自然降下来而基准成绩证明能力没有打折扣。对于预算有限又要长上下文的用户GLM-5-FP8 SGLang/vLLM 思考力度参数是当前性价比最高的组合 ✅【免费下载链接】GLM-5GLM-5: From Vibe Coding to Agentic Engineering项目地址: https://gitcode.com/GitHub_Trending/gl/GLM-5创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考