Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3 本地部署完整指南四步排雷从选版到换玩法一次讲透【免费下载链接】Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3-GGUF刚把几十个 G 的 Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3 GGUF 文件拖进本地目录满怀期待地点击加载结果不是闪退就是 out of memory——这是大多数新手第一次部署这款 35B 参数、约 30 亿活跃参数的多模态 MoE 模型时的真实遭遇。这篇文章把它拆成**「选版本 → 装环境 → 调参数 → 换玩法」**四步每一步只讲你最容易踩的坑和能直接抄走的解法所有命令与参数均来自项目官方推荐配置。这张插画可不是人画的——它是模型在项目测试中根据一句 Generate an SVG of a pelican riding a bicycle 的提示生成的先记住这张图看完本文你会知道它为什么能代表这个模型的真实水平。第一步选对 GGUF 文件——五个版本怎么挑很多新手栽在第一步不分版本直接下最大的文件结果显卡直接爆显存。仓库根目录提供 6 个模型文件和 1 个视觉文件区别如下文件体积参考适合谁Hermes3.6-35B-A3B-Uncensored-Genesis-V7-APEX.gguf约 18 GB官方首选量化中端显卡首选Hermes3.6-35B-A3B-Uncensored-Genesis-V7-APEX-Compact.gguf更小显存吃紧的设备Hermes3.6-35B-A3B-Uncensored-Genesis-V7-Q8_K_P.gguf约 35 GB追求精度、显存充足的玩家Hermes3.6-35B-A3B-Uncensored-Genesis-V7-MTP-APEX.gguf与 APEX 同级想体验 MTP 推理加速Hermes3.6-35B-A3B-Uncensored-Genesis-V7-MTP-APEX-Compact.gguf更小MTP 的紧凑版mmproj-Hermes3.6-35B-A3B-Uncensored-Genesis-F16.gguf视觉编码器想用图片/视频功能必下显存不够按这张表选版本12GB 显存如 RTX 3060/3070选 APEX 或 APEX-Compact配合后面的 CPU 分担设置完全能跑24GB 以上显存可以上 Q8_K_P 换取更接近原始精度的输出完全拿不准直接下 APEX它是项目方实测后的推荐版本为什么这么选这个模型是 MoE混合专家架构——总参数 35B但每个 token 只激活约 3B 参数所以显存吃紧时靠分载策略也能流畅运行没必要死磕最大文件。避坑提醒别只看文件大小。Q8_K_P 精度高但体积接近 APEX 的两倍12GB 显卡加载它大概率直接报显存溢出。真想试高精度请先读完第二步的 offload 配置再动手。第二步装好环境——90 秒排查启动失败与加载报错启动闪退或提示文件缺失先查这四件事检查下载完整性文件动辄十几 GB断点续传很容易缺尾巴。重新下载或核对文件大小别用下载工具里那个未完成的文件。确认路径与文件名命令中-m指定的模型名必须和磁盘上的文件完全一致一字之差就报找不到。更新运行时llama.cpp、LM Studio、koboldcpp 等 GGUF 兼容运行时建议用最新版——旧版不认新量化格式比如 APEX是新手闪退的第一大原因。主模型与 mmproj 同目录打算用视觉功能的话这两个文件缺一不可路径写错会出现mmproj not found。需要整包拉取时执行git clone https://gitcode.com/hf_mirrors/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3-GGUFout of memory 报错三行配置解决显存溢出显存溢出是 Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3 部署时最高频的报错但解法非常固定设置GPU offload 为 15--gpu-offload 15其余计算交给 CPU设置40 层 MoE 权重强制放 CPU--cpu-layers 40将K/V 缓存量化类型设为 Q8_0为什么这么分工这个模型的 40 层里绝大部分是 MoE混合专家结构专家权重占了总权重的大头。把它们卸给 CPU、把注意力层留在 GPU是官方实测过的方案能显著拉低显存峰值。加载成功但聊天格式乱套开启 --jinja这个模型的对话结构很特别带think思考标签、工具调用标签和多模态占位符。如果运行时没按模板拼装消息就会出现用户和助手角色串台、回复里冒出一堆尖括号标签。解法在 llama.cpp 启动时加--jinja参数并确保加载项目自带的 chat_template.jinja。避坑提醒LM Studio 等图形工具一般会自动读取 GGUF 内置模板但如果聊天格式仍然错乱请手动指定项目提供的 chat_template.jinja别让运行时自由发挥。第三步调好参数——不卡顿、不乱码、不跑题生成卡顿变慢先动这两个开关上下文长度至少 128K模型原生 262K 上下文可通过 YaRN 延展到 1M但把它调低到 128K 以下会明显削弱思考能力模型反而显得变笨。K/V 缓存用 Q8_0容量与速度最平衡也是官方推荐值。活跃专家数设为 8模型设计就是 8 个路由专家 1 个共享专家这个数别乱改。中文乱码修复三处检查一次搞定输入文本确认是UTF-8 编码别从旧编辑器直接复制带乱码的内容在提问末尾加一句请用中文回答——模型词表有 248K、覆盖 201 种语言中文能力没问题只是可能跟着提示语言走系统提示保持官方首句You are Qwen, a large language model created by Tongyi Lab team from Alibaba Group. You are a helpful assistant.过长或互相矛盾的提示会干扰它的语言选择答非所问或质量忽高忽低按任务类型抄参数任务类型temperaturetop_ptop_kmin_pseed编码/精确任务0.60.9520042一般对话1.00.95200.0542创意写作关闭思考0.70.85200.01542固定seed42能让结果可复现presence_penalty、repeat_penalty按上表关闭避免和采样器互相打架导致输出反复横跳。避坑提醒别一上来就堆几百字的系统提示。官方建议开启思考 只放一句系统提示先跑通再加戏。多数质量差其实源于提示语之间互相矛盾而不是模型不行。第四步换着玩法用——视觉问答、函数调用与 MTP 加速想让它看图三步配好视觉功能确认 mmproj-Hermes3.6-35B-A3B-Uncensored-Genesis-F16.gguf 与主模型在同一目录加载时显式指定--mmproj mmproj-Hermes3.6-35B-A3B-Uncensored-Genesis-F16.gguf图片用常见 JPG/PNG 格式确保文件未损坏这个模型原生支持文本、图片、视频三种输入。文章开头那张鹈鹕骑自行车的插画就是它视觉 生成能力的现场演示——多模态不是摆设。函数调用总报格式错误检查这两处模板别选错chat_template.jinja 同时支持 XML 与 JSON 两种tool_call输出格式确认运行时里的 tool_call_format 和你解析器的预期一致定义给清楚参考 System_Prompt_Agent.txt在系统提示里写清函数名、参数与 JSON schema。模型基于 hermes-function-calling-v1 数据集训练格式对了成功率很高MTP 加速版值不值得用MTP多 token 预测即一次预测多个 token能明显提升推理速度仓库里带-MTP-的文件就是这类版本。但不是所有运行时都支持加载报错时先确认运行时版本是否支持 nextn 预测再怀疑模型文件。如果你手里只有普通 APEX 版也可以用 QWEN_MTP.py 脚本把 MTP 张量移植进现有 GGUF——脚本会从 donor 模型抽取 MTP 层并合并输出新文件适合想动手的进阶玩家。避坑提醒llama.cpp 需要较新版本才支持 MTP。不支持的运行时请回退到普通 APEX 版体验差距没有你想象的那么大。总结稳定运行的最低底线清单把下面这张清单抄进便签能避开八成的坑版本12GB 显存选 APEX24GB 可选 Q8_K_P负载GPU offload 15、40 层 MoE 放 CPU、K/V 缓存 Q8_0、活跃专家 8对话上下文 ≥ 128Kllama.cpp 记得加--jinja视觉mmproj 与主模型同目录加载时用--mmproj指定采样按任务类型套表seed42 保稳定想继续深挖两个方向推荐给你一是遇到灵异现象时翻一翻 full_output.txt里面是完整测试日志很多报错真相都在这里二是换人设试试 System_Prompt_Creative.txt和默认的 System_Prompt.txt 风格差异很大。这个模型基于 Genesis 技术做过张量去噪如果它开始啰嗦或发疯先检查量化版本和系统提示而不是急着换模型——多数情况下问题出在配置不在模型本身。【免费下载链接】Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3-GGUF创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3 本地部署完整指南：四步排雷，从选版到换玩法一次讲透
Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3 本地部署完整指南四步排雷从选版到换玩法一次讲透【免费下载链接】Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3-GGUF刚把几十个 G 的 Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3 GGUF 文件拖进本地目录满怀期待地点击加载结果不是闪退就是 out of memory——这是大多数新手第一次部署这款 35B 参数、约 30 亿活跃参数的多模态 MoE 模型时的真实遭遇。这篇文章把它拆成**「选版本 → 装环境 → 调参数 → 换玩法」**四步每一步只讲你最容易踩的坑和能直接抄走的解法所有命令与参数均来自项目官方推荐配置。这张插画可不是人画的——它是模型在项目测试中根据一句 Generate an SVG of a pelican riding a bicycle 的提示生成的先记住这张图看完本文你会知道它为什么能代表这个模型的真实水平。第一步选对 GGUF 文件——五个版本怎么挑很多新手栽在第一步不分版本直接下最大的文件结果显卡直接爆显存。仓库根目录提供 6 个模型文件和 1 个视觉文件区别如下文件体积参考适合谁Hermes3.6-35B-A3B-Uncensored-Genesis-V7-APEX.gguf约 18 GB官方首选量化中端显卡首选Hermes3.6-35B-A3B-Uncensored-Genesis-V7-APEX-Compact.gguf更小显存吃紧的设备Hermes3.6-35B-A3B-Uncensored-Genesis-V7-Q8_K_P.gguf约 35 GB追求精度、显存充足的玩家Hermes3.6-35B-A3B-Uncensored-Genesis-V7-MTP-APEX.gguf与 APEX 同级想体验 MTP 推理加速Hermes3.6-35B-A3B-Uncensored-Genesis-V7-MTP-APEX-Compact.gguf更小MTP 的紧凑版mmproj-Hermes3.6-35B-A3B-Uncensored-Genesis-F16.gguf视觉编码器想用图片/视频功能必下显存不够按这张表选版本12GB 显存如 RTX 3060/3070选 APEX 或 APEX-Compact配合后面的 CPU 分担设置完全能跑24GB 以上显存可以上 Q8_K_P 换取更接近原始精度的输出完全拿不准直接下 APEX它是项目方实测后的推荐版本为什么这么选这个模型是 MoE混合专家架构——总参数 35B但每个 token 只激活约 3B 参数所以显存吃紧时靠分载策略也能流畅运行没必要死磕最大文件。避坑提醒别只看文件大小。Q8_K_P 精度高但体积接近 APEX 的两倍12GB 显卡加载它大概率直接报显存溢出。真想试高精度请先读完第二步的 offload 配置再动手。第二步装好环境——90 秒排查启动失败与加载报错启动闪退或提示文件缺失先查这四件事检查下载完整性文件动辄十几 GB断点续传很容易缺尾巴。重新下载或核对文件大小别用下载工具里那个未完成的文件。确认路径与文件名命令中-m指定的模型名必须和磁盘上的文件完全一致一字之差就报找不到。更新运行时llama.cpp、LM Studio、koboldcpp 等 GGUF 兼容运行时建议用最新版——旧版不认新量化格式比如 APEX是新手闪退的第一大原因。主模型与 mmproj 同目录打算用视觉功能的话这两个文件缺一不可路径写错会出现mmproj not found。需要整包拉取时执行git clone https://gitcode.com/hf_mirrors/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3-GGUFout of memory 报错三行配置解决显存溢出显存溢出是 Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3 部署时最高频的报错但解法非常固定设置GPU offload 为 15--gpu-offload 15其余计算交给 CPU设置40 层 MoE 权重强制放 CPU--cpu-layers 40将K/V 缓存量化类型设为 Q8_0为什么这么分工这个模型的 40 层里绝大部分是 MoE混合专家结构专家权重占了总权重的大头。把它们卸给 CPU、把注意力层留在 GPU是官方实测过的方案能显著拉低显存峰值。加载成功但聊天格式乱套开启 --jinja这个模型的对话结构很特别带think思考标签、工具调用标签和多模态占位符。如果运行时没按模板拼装消息就会出现用户和助手角色串台、回复里冒出一堆尖括号标签。解法在 llama.cpp 启动时加--jinja参数并确保加载项目自带的 chat_template.jinja。避坑提醒LM Studio 等图形工具一般会自动读取 GGUF 内置模板但如果聊天格式仍然错乱请手动指定项目提供的 chat_template.jinja别让运行时自由发挥。第三步调好参数——不卡顿、不乱码、不跑题生成卡顿变慢先动这两个开关上下文长度至少 128K模型原生 262K 上下文可通过 YaRN 延展到 1M但把它调低到 128K 以下会明显削弱思考能力模型反而显得变笨。K/V 缓存用 Q8_0容量与速度最平衡也是官方推荐值。活跃专家数设为 8模型设计就是 8 个路由专家 1 个共享专家这个数别乱改。中文乱码修复三处检查一次搞定输入文本确认是UTF-8 编码别从旧编辑器直接复制带乱码的内容在提问末尾加一句请用中文回答——模型词表有 248K、覆盖 201 种语言中文能力没问题只是可能跟着提示语言走系统提示保持官方首句You are Qwen, a large language model created by Tongyi Lab team from Alibaba Group. You are a helpful assistant.过长或互相矛盾的提示会干扰它的语言选择答非所问或质量忽高忽低按任务类型抄参数任务类型temperaturetop_ptop_kmin_pseed编码/精确任务0.60.9520042一般对话1.00.95200.0542创意写作关闭思考0.70.85200.01542固定seed42能让结果可复现presence_penalty、repeat_penalty按上表关闭避免和采样器互相打架导致输出反复横跳。避坑提醒别一上来就堆几百字的系统提示。官方建议开启思考 只放一句系统提示先跑通再加戏。多数质量差其实源于提示语之间互相矛盾而不是模型不行。第四步换着玩法用——视觉问答、函数调用与 MTP 加速想让它看图三步配好视觉功能确认 mmproj-Hermes3.6-35B-A3B-Uncensored-Genesis-F16.gguf 与主模型在同一目录加载时显式指定--mmproj mmproj-Hermes3.6-35B-A3B-Uncensored-Genesis-F16.gguf图片用常见 JPG/PNG 格式确保文件未损坏这个模型原生支持文本、图片、视频三种输入。文章开头那张鹈鹕骑自行车的插画就是它视觉 生成能力的现场演示——多模态不是摆设。函数调用总报格式错误检查这两处模板别选错chat_template.jinja 同时支持 XML 与 JSON 两种tool_call输出格式确认运行时里的 tool_call_format 和你解析器的预期一致定义给清楚参考 System_Prompt_Agent.txt在系统提示里写清函数名、参数与 JSON schema。模型基于 hermes-function-calling-v1 数据集训练格式对了成功率很高MTP 加速版值不值得用MTP多 token 预测即一次预测多个 token能明显提升推理速度仓库里带-MTP-的文件就是这类版本。但不是所有运行时都支持加载报错时先确认运行时版本是否支持 nextn 预测再怀疑模型文件。如果你手里只有普通 APEX 版也可以用 QWEN_MTP.py 脚本把 MTP 张量移植进现有 GGUF——脚本会从 donor 模型抽取 MTP 层并合并输出新文件适合想动手的进阶玩家。避坑提醒llama.cpp 需要较新版本才支持 MTP。不支持的运行时请回退到普通 APEX 版体验差距没有你想象的那么大。总结稳定运行的最低底线清单把下面这张清单抄进便签能避开八成的坑版本12GB 显存选 APEX24GB 可选 Q8_K_P负载GPU offload 15、40 层 MoE 放 CPU、K/V 缓存 Q8_0、活跃专家 8对话上下文 ≥ 128Kllama.cpp 记得加--jinja视觉mmproj 与主模型同目录加载时用--mmproj指定采样按任务类型套表seed42 保稳定想继续深挖两个方向推荐给你一是遇到灵异现象时翻一翻 full_output.txt里面是完整测试日志很多报错真相都在这里二是换人设试试 System_Prompt_Creative.txt和默认的 System_Prompt.txt 风格差异很大。这个模型基于 Genesis 技术做过张量去噪如果它开始啰嗦或发疯先检查量化版本和系统提示而不是急着换模型——多数情况下问题出在配置不在模型本身。【免费下载链接】Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3-GGUF创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考