深入原理Qwen3.8-27B-Abliterated-MLX的Abliteration是如何实现的从拒绝方向到权重投影【免费下载链接】Qwen3.8-27B-Abliterated-MLX项目地址: https://ai.gitcode.com/hf_mirrors/PocketAiHub/Qwen3.8-27B-Abliterated-MLXQwen3.8-27B-Abliterated-MLX 是一套基于 Qwen3.8-27B 的多模态 MLX 模型它最引人注目的地方是用Abliteration技术把大模型的拒绝行为几乎清零——在 100 条有害提示的测试中5 个量化版本的显式拒绝率全部为 0。那么Abliteration 原理到底是什么拒绝方向是怎么找到的权重投影又是怎么做的这篇文章从零开始一步步拆解这个项目的完整实现路径。Abliteration是什么一次说清拒绝方向与权重投影大模型在训练阶段经历过 RLHF 等安全对齐面对有害请求时会被训练出拒绝的响应习惯。神经科学研究发现这种习惯并不是散落在海量参数里的随机行为而是在激活空间里形成了一个高度集中的方向——就像大脑里有一条专门的神经通路。当输入触发它时模型就输出抱歉我无法……。Abliteration 的核心思路因此变得非常清晰只有两步找到方向通过对比有害提示和良性提示的激活测量出代表拒绝行为的方向向量抹掉方向把方向从权重矩阵中投影掉让模型在计算时根本没有机会沿着这个方向输出。这个项目的机器可读配方全部记录在abliteration-manifest.json中下面我们按它的步骤逐一深入。第一步如何定位模型的拒绝方向要移除拒绝行为首先得知道拒绝在模型内部长什么样。这属于**表示工程Representation Engineering**的范畴模型的高维激活空间里每一个语义概念都对应一个方向拒绝行为也不例外。数据准备256 对长度匹配的提示项目使用了256 条有害提示 256 条良性提示并且两类提示在长度上严格匹配。为什么要匹配长度因为激活向量的统计特性会受 token 数量影响如果有害提示普遍更长测出的方向里就会混入长度信息而不是纯粹的拒绝信号。采样位置助手生成边界的残差状态方向不是从任意位置取的而是在助手生成边界assistant-generation boundary的残差流隐藏状态residual_post中采样——也就是用户输入结束、模型即将开始生成回答的那一刻。此时模型刚刚决定要不要拒绝方向信号最纯净。方向计算均值之差 → 投影 → 单位化对每一类提示分别收集激活然后计算两类激活的均值取两者的差值有害 − 良性这个差值方向就是拒绝方向的雏形经过投影处理后归一化为单位向量projected_unit_directions。最终得到的单位方向向量其 SHA-256 哈希也被记录在abliteration-manifest.json中确保整个实验可复现、可审计。为什么选第 53 层作为方向来源层模型有 64 层但方向并非来自浅层而是来自第 53 层source_layer: 53。这是因为拒绝这种高级语义行为是在深层网络中逐步成形的第 53 层的残差流里拒绝信号的强度和纯净度最高。方向来源层的选择直接决定了后续投影的质量。第二步权重正交投影——把拒绝写进权重里找到方向之后有两种清除方式它们的差别很关键推理时减法在每次前向计算时从激活中减去沿拒绝方向的分量。灵活但需要改推理代码且每一步都有额外开销权重投影直接把方向雕刻进权重矩阵里一次性修改模型文件。推理时零额外开销、无需改任何代码。这个项目采用的是后者——拒绝方向正交权重投影refusal-direction orthogonal weight projection。投影的数学原理对任意一个输出到残差流的权重矩阵 W我们希望它对任意输入 x 的输出 Wx 都与拒绝方向 r 正交即满足 (Wx)·r 0。数学上等价于把 W 中沿 r 的分量减掉W′ W − r·(Wᵀr)ᵀ / ‖r‖²这里的 r·(Wᵀr)ᵀ 是一个外积项‖r‖² 是方向向量的范数平方。可以验证投影之后 W′ᵀr 0也就是说新权重在拒绝方向上不再产生任何输出分量。用大白话讲权重矩阵的作用是把输入搬运到输出空间其中有一部分搬运路径恰好通往拒绝。正交投影就是把这部分路径从矩阵中拆掉让输出再也无法流向拒绝方向而其它方向的分量几乎原样保留——这正是模型知识和能力不受影响的原因。Scale 1.0完全移除配方中scale: 1.0表示按 100% 强度执行投影即完全移除拒绝分量不做任何折中。如果想要轻度削弱而非彻底移除可以把这个系数调小——但本项目选择了最彻底的做法。Norm Preservation按输入列保持范数投影本质上是把权重向某个方向压扁这会导致部分输出通道的范数略微缩小长期累积会让深层激活整体衰减。为此配方开启了按输入列范数保持norm_preserve: true投影之后再把每一列的范数重新缩放到投影前的水平既清除了拒绝方向又不牺牲激活的幅度和动态范围。第三步把方向广播到深层网络24–63 层只改一层是不够的——拒绝行为像一条河流贯穿了模型的整个深层网络。所以配方把第 53 层测得的拒绝方向广播投影到第 24 到 63 层共 40 层也就是拒绝概念成形并汇聚到输出端的核心区域。每层改两个矩阵注意力输出 MLP每一层修改两类权重矩阵目标矩阵作用注意力输出attention out注意力头聚合后的残差输出拒绝信号在这里被放大MLP 下投影mlp_down前馈网络把中间特征压回隐藏维负责具体说什么混合注意力架构为什么是 80 个张量Qwen3.8 采用了混合注意力架构见4bit/config.json64 层中大部分是类 Mamba 的线性注意力层linear attention每 4 层插入一个全注意力层full attention。因此注意力输出这一项被拆成了两种第 24–63 层中共有10 个全注意力层→ 修改 10 个全注意力输出矩阵其余30 个线性注意力层→ 修改 30 个线性注意力输出矩阵每层都有 MLP → 修改40 个 mlp_down 矩阵。合计10 30 40 80 个被修改的权重张量与abliteration-manifest.json中modified_tensor_count: 80完全吻合。这意味着 Abliteration 不是改一两个文件而是对整个深层网络的系统性手术。Abliteration效果如何验证100 条有害提示零拒绝光有理论还不够项目用一套确定性评估协议验证了效果见benchmarks/validation-summary.json100 条有害提示 100 条良性对照batch size 1、禁用思考模式、生成上限 128 token使用透明的短语级显式拒绝检测器自动打分。变体有害提示显式拒绝良性提示显式拒绝给出最终回答MLX 2-bit AWQ实验版0/1000/100196/200MLX 4-bit0/1000/100200/200MLX 6-bit0/1000/100200/200MLX 8-bit0/1000/100200/200MLX BF160/1000/100200/200所有版本的有害提示拒绝率都是0/100且良性提示也没有出现过度拒绝的副作用——说明权重投影精准命中了拒绝方向没有误伤正常回答。需要说明的是128 token 上限意味着这本质上是早期拒绝筛查而非完整回答质量的评估。顺带认识一套模型五种 MLX 量化精度Abliteration 做完之后项目还提供了2-bit、4-bit、6-bit、8-bit 和 BF16五种精度版本分别位于2bit/、4bit/、6bit/、8bit/、bf16/目录全部使用 MLX 仿射量化视觉塔保持 BF16变体占用空间量化方式2-bit AWQ10.28 GiBQ2 / group 32实验版4-bit14.98 GiBQ4 / group 646-bit21.24 GiBQ6 / group 648-bit27.50 GiBQ8 / group 64BF1650.98 GiB未量化参考版在 Apple M5 Max128 GB 统一内存上4-bit 版本 4K 上下文预填充达到641.7 token/s端到端仅 6.68 秒峰值内存 21.8 GB——笔记本也能轻松跑起来。每个变体还附有validation-summary.json记录了各自的 12 项质量检查、8 项工具调用检查、图文/视频理解与 4K 检索的完整证据。如何亲手加载这套 Abliterated 模型加载非常简单只需安装 MLX 生态并指定变体python -m pip install mlx0.32.0 mlx-vlm0.6.8from pathlib import Path from huggingface_hub import snapshot_download from mlx_vlm import generate, load repo_id PocketAiHub/Qwen3.8-27B-Abliterated-MLX variant 4bit # 可选 2bit / 4bit / 6bit / 8bit / bf16 snapshot Path(snapshot_download(repo_id, allow_patterns[f{variant}/*])) model, processor load(str(snapshot / variant))下载完成后模型文件的权重映射细节可以在4bit/model.safetensors.index.json中查看——你会发现那些被投影过的attention out与mlp down矩阵都静静躺在里面和普通模型看起来别无二致只是拒绝的方向已经被永久抹去。必须知道的边界Abliteration ≠ 能力提升最后必须强调Abliteration 不是万能的。它移除了显式拒绝这一行为模式但不是真实性训练不会让模型变得更聪明或更准确它不构成安全保证——被修改后的模型可能更轻易地产生有害、违法或误导性内容需要使用者自行评估与约束输出2-bit AWQ 是实验版本只通过 9/12 项质量检查、0/8 项工具调用检查4K 检索能找到信息但无法精确返回不建议用于严肃场景拒绝方向是数据驱动的近似理论上无法覆盖所有可能的拒绝触发路径。这项技术的意义更多在于透明地研究大模型内部机制当你能像拆解电路一样定位并移除一个行为方向时你对模型为什么这么说的理解就前进了一大步。如果想复现或核对本文提到的每一个参数请直接打开根目录的abliteration-manifest.json和README.md所有配方与评估证据都是机器可读、可审计的。【免费下载链接】Qwen3.8-27B-Abliterated-MLX项目地址: https://ai.gitcode.com/hf_mirrors/PocketAiHub/Qwen3.8-27B-Abliterated-MLX创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 深入原理：Qwen3.8-27B-Abliterated-MLX的Abliteration是如何实现的？从拒绝方向到权重投影
深入原理Qwen3.8-27B-Abliterated-MLX的Abliteration是如何实现的从拒绝方向到权重投影【免费下载链接】Qwen3.8-27B-Abliterated-MLX项目地址: https://ai.gitcode.com/hf_mirrors/PocketAiHub/Qwen3.8-27B-Abliterated-MLXQwen3.8-27B-Abliterated-MLX 是一套基于 Qwen3.8-27B 的多模态 MLX 模型它最引人注目的地方是用Abliteration技术把大模型的拒绝行为几乎清零——在 100 条有害提示的测试中5 个量化版本的显式拒绝率全部为 0。那么Abliteration 原理到底是什么拒绝方向是怎么找到的权重投影又是怎么做的这篇文章从零开始一步步拆解这个项目的完整实现路径。Abliteration是什么一次说清拒绝方向与权重投影大模型在训练阶段经历过 RLHF 等安全对齐面对有害请求时会被训练出拒绝的响应习惯。神经科学研究发现这种习惯并不是散落在海量参数里的随机行为而是在激活空间里形成了一个高度集中的方向——就像大脑里有一条专门的神经通路。当输入触发它时模型就输出抱歉我无法……。Abliteration 的核心思路因此变得非常清晰只有两步找到方向通过对比有害提示和良性提示的激活测量出代表拒绝行为的方向向量抹掉方向把方向从权重矩阵中投影掉让模型在计算时根本没有机会沿着这个方向输出。这个项目的机器可读配方全部记录在abliteration-manifest.json中下面我们按它的步骤逐一深入。第一步如何定位模型的拒绝方向要移除拒绝行为首先得知道拒绝在模型内部长什么样。这属于**表示工程Representation Engineering**的范畴模型的高维激活空间里每一个语义概念都对应一个方向拒绝行为也不例外。数据准备256 对长度匹配的提示项目使用了256 条有害提示 256 条良性提示并且两类提示在长度上严格匹配。为什么要匹配长度因为激活向量的统计特性会受 token 数量影响如果有害提示普遍更长测出的方向里就会混入长度信息而不是纯粹的拒绝信号。采样位置助手生成边界的残差状态方向不是从任意位置取的而是在助手生成边界assistant-generation boundary的残差流隐藏状态residual_post中采样——也就是用户输入结束、模型即将开始生成回答的那一刻。此时模型刚刚决定要不要拒绝方向信号最纯净。方向计算均值之差 → 投影 → 单位化对每一类提示分别收集激活然后计算两类激活的均值取两者的差值有害 − 良性这个差值方向就是拒绝方向的雏形经过投影处理后归一化为单位向量projected_unit_directions。最终得到的单位方向向量其 SHA-256 哈希也被记录在abliteration-manifest.json中确保整个实验可复现、可审计。为什么选第 53 层作为方向来源层模型有 64 层但方向并非来自浅层而是来自第 53 层source_layer: 53。这是因为拒绝这种高级语义行为是在深层网络中逐步成形的第 53 层的残差流里拒绝信号的强度和纯净度最高。方向来源层的选择直接决定了后续投影的质量。第二步权重正交投影——把拒绝写进权重里找到方向之后有两种清除方式它们的差别很关键推理时减法在每次前向计算时从激活中减去沿拒绝方向的分量。灵活但需要改推理代码且每一步都有额外开销权重投影直接把方向雕刻进权重矩阵里一次性修改模型文件。推理时零额外开销、无需改任何代码。这个项目采用的是后者——拒绝方向正交权重投影refusal-direction orthogonal weight projection。投影的数学原理对任意一个输出到残差流的权重矩阵 W我们希望它对任意输入 x 的输出 Wx 都与拒绝方向 r 正交即满足 (Wx)·r 0。数学上等价于把 W 中沿 r 的分量减掉W′ W − r·(Wᵀr)ᵀ / ‖r‖²这里的 r·(Wᵀr)ᵀ 是一个外积项‖r‖² 是方向向量的范数平方。可以验证投影之后 W′ᵀr 0也就是说新权重在拒绝方向上不再产生任何输出分量。用大白话讲权重矩阵的作用是把输入搬运到输出空间其中有一部分搬运路径恰好通往拒绝。正交投影就是把这部分路径从矩阵中拆掉让输出再也无法流向拒绝方向而其它方向的分量几乎原样保留——这正是模型知识和能力不受影响的原因。Scale 1.0完全移除配方中scale: 1.0表示按 100% 强度执行投影即完全移除拒绝分量不做任何折中。如果想要轻度削弱而非彻底移除可以把这个系数调小——但本项目选择了最彻底的做法。Norm Preservation按输入列保持范数投影本质上是把权重向某个方向压扁这会导致部分输出通道的范数略微缩小长期累积会让深层激活整体衰减。为此配方开启了按输入列范数保持norm_preserve: true投影之后再把每一列的范数重新缩放到投影前的水平既清除了拒绝方向又不牺牲激活的幅度和动态范围。第三步把方向广播到深层网络24–63 层只改一层是不够的——拒绝行为像一条河流贯穿了模型的整个深层网络。所以配方把第 53 层测得的拒绝方向广播投影到第 24 到 63 层共 40 层也就是拒绝概念成形并汇聚到输出端的核心区域。每层改两个矩阵注意力输出 MLP每一层修改两类权重矩阵目标矩阵作用注意力输出attention out注意力头聚合后的残差输出拒绝信号在这里被放大MLP 下投影mlp_down前馈网络把中间特征压回隐藏维负责具体说什么混合注意力架构为什么是 80 个张量Qwen3.8 采用了混合注意力架构见4bit/config.json64 层中大部分是类 Mamba 的线性注意力层linear attention每 4 层插入一个全注意力层full attention。因此注意力输出这一项被拆成了两种第 24–63 层中共有10 个全注意力层→ 修改 10 个全注意力输出矩阵其余30 个线性注意力层→ 修改 30 个线性注意力输出矩阵每层都有 MLP → 修改40 个 mlp_down 矩阵。合计10 30 40 80 个被修改的权重张量与abliteration-manifest.json中modified_tensor_count: 80完全吻合。这意味着 Abliteration 不是改一两个文件而是对整个深层网络的系统性手术。Abliteration效果如何验证100 条有害提示零拒绝光有理论还不够项目用一套确定性评估协议验证了效果见benchmarks/validation-summary.json100 条有害提示 100 条良性对照batch size 1、禁用思考模式、生成上限 128 token使用透明的短语级显式拒绝检测器自动打分。变体有害提示显式拒绝良性提示显式拒绝给出最终回答MLX 2-bit AWQ实验版0/1000/100196/200MLX 4-bit0/1000/100200/200MLX 6-bit0/1000/100200/200MLX 8-bit0/1000/100200/200MLX BF160/1000/100200/200所有版本的有害提示拒绝率都是0/100且良性提示也没有出现过度拒绝的副作用——说明权重投影精准命中了拒绝方向没有误伤正常回答。需要说明的是128 token 上限意味着这本质上是早期拒绝筛查而非完整回答质量的评估。顺带认识一套模型五种 MLX 量化精度Abliteration 做完之后项目还提供了2-bit、4-bit、6-bit、8-bit 和 BF16五种精度版本分别位于2bit/、4bit/、6bit/、8bit/、bf16/目录全部使用 MLX 仿射量化视觉塔保持 BF16变体占用空间量化方式2-bit AWQ10.28 GiBQ2 / group 32实验版4-bit14.98 GiBQ4 / group 646-bit21.24 GiBQ6 / group 648-bit27.50 GiBQ8 / group 64BF1650.98 GiB未量化参考版在 Apple M5 Max128 GB 统一内存上4-bit 版本 4K 上下文预填充达到641.7 token/s端到端仅 6.68 秒峰值内存 21.8 GB——笔记本也能轻松跑起来。每个变体还附有validation-summary.json记录了各自的 12 项质量检查、8 项工具调用检查、图文/视频理解与 4K 检索的完整证据。如何亲手加载这套 Abliterated 模型加载非常简单只需安装 MLX 生态并指定变体python -m pip install mlx0.32.0 mlx-vlm0.6.8from pathlib import Path from huggingface_hub import snapshot_download from mlx_vlm import generate, load repo_id PocketAiHub/Qwen3.8-27B-Abliterated-MLX variant 4bit # 可选 2bit / 4bit / 6bit / 8bit / bf16 snapshot Path(snapshot_download(repo_id, allow_patterns[f{variant}/*])) model, processor load(str(snapshot / variant))下载完成后模型文件的权重映射细节可以在4bit/model.safetensors.index.json中查看——你会发现那些被投影过的attention out与mlp down矩阵都静静躺在里面和普通模型看起来别无二致只是拒绝的方向已经被永久抹去。必须知道的边界Abliteration ≠ 能力提升最后必须强调Abliteration 不是万能的。它移除了显式拒绝这一行为模式但不是真实性训练不会让模型变得更聪明或更准确它不构成安全保证——被修改后的模型可能更轻易地产生有害、违法或误导性内容需要使用者自行评估与约束输出2-bit AWQ 是实验版本只通过 9/12 项质量检查、0/8 项工具调用检查4K 检索能找到信息但无法精确返回不建议用于严肃场景拒绝方向是数据驱动的近似理论上无法覆盖所有可能的拒绝触发路径。这项技术的意义更多在于透明地研究大模型内部机制当你能像拆解电路一样定位并移除一个行为方向时你对模型为什么这么说的理解就前进了一大步。如果想复现或核对本文提到的每一个参数请直接打开根目录的abliteration-manifest.json和README.md所有配方与评估证据都是机器可读、可审计的。【免费下载链接】Qwen3.8-27B-Abliterated-MLX项目地址: https://ai.gitcode.com/hf_mirrors/PocketAiHub/Qwen3.8-27B-Abliterated-MLX创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考