如果你正在做“大模型可解释性”大概率会遇到一个相当尴尬的阶段模型内部被你认真拆成了几千上万个稀疏特征每个特征有编号、有激活强度、有最强响应的文本片段可一旦被问到“这个特征到底在追踪什么”你只能对着屏幕猜。Sparse Autoencoder稀疏自编码器SAE这几年之所以受到关注是因为它能把 LLM 的高维内部表征拆成比神经元更“单义”的方向。拆出来的特征数量往往非常惊人几百、几千、甚至几十万。真正拦住实践者的已经不是能不能训练 SAE而是能不能高效为每个特征生成稳定、具体、可验证的自然语言解释。SAEVerbalizer 这个题目把注意力放在了一个非常关键的操作上——Representation Verbalization。从标题判断它的核心不是“再拿一批 Top 激活文本给大模型编一个说法”而是把特征的连续表征映射成自然语言表达再用可验证的方式确定解释。这篇文章不打算把一个没有公开完整实证的论文结果当成既定事实来讲而是从方法原理、工程结构和可复现代码三个层面拆解怎么落地这条“从特征到语言”的路径。最终你会得到一个可以在本地 CPU/小显卡上运行的完整流程并知道真正容易出问题的地方在哪。1. SAEVerbalizer 这篇文章真正要解决的问题假设你负责检查某个开源模型的内部状态正好被分到一个编号为feature_921的特征。你手里的信息包括这个特征在 1000 万 token 语料上的激活分布以及激活值最高的 20 条上下文。任务是给它写一个不超过 20 个字的解释。这看起来很简单实际上非常难。难在第一点特征太多。一个稍微认真的 SAE 检查点字典规模可能就是 2 万到 50 万。即使其中大量特征在给定语料上是“死”的剩下的活特征也远超人工标注能力。这决定了流程必须自动化。难在第二点解释缺少约束。人类从相同一批高激活片段里可能总结出“包含某个词缀”“语气负面”“提到某种实体”“位于句首”等各种解释。它们听起来都合理却无法区分到底哪种才是模型内部机制真正依赖的方向。更麻烦的是LLM 很擅长在给定文本里生成看似合理的“套话”。如果直接把 Top 激活上下文丢给模型它会倾向于产出“我观察到该特征与这段文本有关”这类无信息量句子。如果只看表面很多人会误以为 SAEVerbalizer 的贡献只是“换了一个提示词模板”。更稳妥的判断是它把“解释”重新定义成一个表征映射问题。也就是说要从特征激活对应的真值向量出发经过言语化模块生成自然语言候选并通过下游验证环节去排除幻觉式解释。这样一来解释不再是一次性文本生成而是一个“生成—验证—筛选”的闭环。什么样的读者应该关注这条技术路线如果你做的是模型可解释性、AI 安全审查、模型行为归因、训练数据泄漏分析或者你只是好奇“大模型内部到底记住和计算了什么”那 SAEVerbalizer 所代表的思路都值得你掌握。尤其是需要在工程上批量为 SAE 特征生成说明文档的团队这篇文章会很有参考价值。2. Sparse Autoencoder Features 基础概念与解释瓶颈理解 SAEVerbalizer 之前需要先对齐 Sparse Autoencoder Features 这个概念。SAE 的目标相对直观。给定某个模型在一批 token 上的内部表征矩阵 XSAE 会学习一个过完备字典。字典中的每一列代表一个方向单个 token 的表征则用稀疏的字典元素组合来表示。常见的稀疏化方式包括 L1 正则、TopK 稀疏约束等。训练目标通常是重构误差加上稀疏惩罚让每个输入只在少量字典方向上产生显著激活。如果把 LLM 的隐藏层状态比作一个城市的实时交通状态那么某个隐藏层维度就是“整条路的流量”它们互相纠缠难以分开而一个 SAE 特征更像“某个具体的出行目的”比如“去机场的人”“送孩子上学的人”“去景区的人”。后者在语义上更干净也更容易被单独描述。不过“更容易被描述”不等于“能被自动描述”。SAE 特征解释任务通常包含两个环节第一是证据收集。在大量语料上跑模型记录目标层的激活值选出每个特征激活最高的 token 或上下文片段。第二是解释生成。把证据交给人类或 LLM请它们总结出该特征的含义。这个流程有一个容易被忽略的问题证据收集给出的只是“该特征在什么时候显著”并不告诉它“为什么显著”。例如一个特征频繁在movie、cinema、film几个词附近激活这既可能表示“对电影领域实体敏感”也可能表示“对流式文本的高频 token 敏感”甚至可能只是某个位置编码模式产生的副作用。因此越来越多的工作开始强调“验证闭环”。生成解释只是中间产物最终要回到 SAE 特征本身查看解释能否解释更多样本能否预测特征在未见语料上的激活能否在扰动实验中被重复验证。SAEVerbalizer 中的 Representation Verbalization 思路正是沿着这条路径在往前走让“从表征到语言”的映射本身就带有可验证的空间而不是只依赖一段自然语言总结。3. Representation Verbalization 的核心逻辑与定位要说清 Representation Verbalization可以先从 “Verbalizer” 这个词谈起。在提示学习范式里Verbalizer 通常指“把模型输出映射到离散标签词”的映射函数。比如情感分类时你并不要求模型直接说“positive”或“negative”而是让模型在great与bad两个候选词之间做词汇预测再把概率映射回类别。这里的关键是原本连续的概率分布或表征空间需要一块“板子”把它翻译成人类能读的离散词。SAEVerbalizer 借用同一思路只不过它的映射对象不是分类标签而是“某个 SAE 特征是什么”的开放式解释。用大白话来说它不是一个让你“看完上下文再总结”的阅读理解系统而是试图建立一条从特征的表征方向或激活统计到自然语言描述的映射路径。特征激活不只是一个用来搜索文本的索引本身也是言语化模型的输入信号。从实现结构上看整条解释流水线可以分成三个模块模块作用常见输出容易踩的坑证据准备收集特征在高激活样本上的上下文与统计信息TopK 上下文、相邻 tokenpadding 错位、语料偏差Verbalization 映射把特征激活信息和上下文转换成自然语言候选解释短语、短句、模板解释太宽泛、套话严重验证与筛选检查解释是否具体、可泛化、可证伪分数、排序、是否通过测试自圆其说、过拟合少量样本这种方法与传统自动解释的核心差异可以归纳为下表对比维度传统 TopK 文本解释Representation Verbalization 思路主要输入激活最高的文本片段文本片段 特征激活模式/表征统计解释生成方式直接把文本喂给 LLM 让其总结显式构建“特征表征→语言描述”的映射约束强度弱模型容易发散强通常会约束候选格式、可验证性失败模式产生“语义正确但无用”的解释更容易暴露特征本身语义不稳定的问题工程落点单次 prompt生成、评分、筛选闭环上面这个表不是 SAEVerbalizer 每一篇实验的绝对结论而是关于路线差异的合理概括。实际论文怎么设置模块、如何训练 verbalizer需要以原始论文和发布代码为准。但从工程经验看把“验证”和“映射”放进同一套管道往往比单纯把问题抛给 LLM 更稳。4. 最小复现的整体设计与环境准备如果你想把这个抽象框架变成能跑的代码建议先不要急着在几十亿参数模型上大规模训练 SAE。更聪明的做法是先做最小复现用一个小型语言模型作为被解释对象提取它的中间表征训练一个小字典再把特征送入解释与验证模块。最小流程如下用一个可离线加载的小型语言模型在多条文本上跑前向保留某一层的 token 级 hidden state。用这些 hidden state 训练一个 Sparse Autoencoder。从 SAE 稀疏激活矩阵中挑选一个“活特征”。收集该特征激活最高的若干上下文。将上下文和特征统计信号交给 Verbalization 模块得到候选解释。对候选解释做一次简单验证判断它是否具体、可证伪。这套流程是带有教学性质的“最小版本”。它无法完整复现 SAEVerbalizer 为大规模 SAE 设计的全部细节但能帮你理解每一块在干什么也能作为接入真实开源 SAE 检查点时替换代码的骨架。环境方面建议使用 Python 3.10 及以上版本核心依赖为torch、transformers、scikit-learn、openai。如果你希望调用 OpenAI 兼容接口作为 Verbalization 模块需要保证网络可访问对应接口如果希望完全本地化可以把 Verbalization 模块替换为一个本地生成的文本模型例如transformers里加载的pipeline(text-generation)模型。安装命令示例如下mkdir sae-verbalizer-demo cd sae-verbalizer-demo python -m venv venv source venv/bin/activate pip install torch transformers scikit-learn openai numpy下面代码中会用到的模型名称只是用来演示流程不代表 SAEVerbalizer 官方实现使用的模型。版本以你实际安装的transformers和torch为准。如果你已经有真实 SAE 的权重和对应基座模型可以直接替换代码中的模型名称和路径。5. 代码实现一提取模型中间层表征第一步准备一个小型语言模型并提取它中间层的隐藏状态。这里选择hf-internal-testing/tiny-random-gpt2是为了让示例能在普通机器上跑通实际研究工作通常会换成你在意的大模型。# 文件路径sae_verbalizer_demo/extract_activations.py import json import torch import numpy as np from transformers import AutoModelForCausalLM, AutoTokenizer model_name hf-internal-testing/tiny-random-gpt2 texts [ the quick brown fox jumps over the lazy dog, I bought two tickets to see this movie, the weather today is sunny and warm, the model is counting every word in this sentence, ] tokenizer AutoTokenizer.from_pretrained(model_name) if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token model AutoModelForCausalLM.from_pretrained(model_name) model.eval() enc tokenizer( texts, paddingTrue, truncationTrue, max_length64, return_tensorspt, ) with torch.no_grad(): out model(**enc, output_hidden_statesTrue) # hidden_states 是一个元组第 0 项通常是 embedding 层输出 # 最后一项是最后一层输出。这里取倒数第二层作为演示目标层。 acts out.hidden_states[-2] # (batch, seq_len, hidden_size) attention_mask enc[attention_mask] input_ids enc[input_ids] state_list [] token_list [] for b in range(acts.size(0)): length attention_mask[b].sum().item() state_list.append(acts[b, :length]) token_list.extend( tokenizer.convert_ids_to_tokens(input_ids[b, :length].tolist()) ) all_states torch.cat(state_list, dim0) np.savez(activations.npz, statesall_states.numpy()) with open(tokens.json, w, encodingutf-8) as f: json.dump(token_list, f) print(hidden states shape:, acts.shape) print(valid token states:, all_states.shape) print(token list length:, len(token_list))这段代码的唯一目的是拿到 token 级表征同时保证 token 与状态向量一一对应。关键点在于 padding 过滤如果直接用 padding 后的整段序列训练 SAE模型会额外学到“padding token”这个虚假特征污染后续解释。运行后你会得到两个文件activations.npz保存全部有效 token 的向量tokens.json保存对应 token 列表。运行方式python sae_verbalizer_demo/extract_activations.py预期输出大致为hidden states shape: (4, 10, 32) valid token states: (40, 32) token list length: 40具体数字会随模型结构和文本数量变化。只要状态向量长度和 token 长度一致这一步就成功了。6. 代码实现二训练稀疏自编码器并选择特征下面定义一个简单的 TopK 稀疏自编码器。它和标准 SAE 的区别是编码器输出先取每个 token 激活值中的 TopK 个位置小于这些位置的值直接置 0。这样做的好处是稀疏度由 K 直接控制不需要调整复杂的 L1 权重。# 文件路径sae_verbalizer_demo/sae.py import torch import torch.nn as nn class SparseAutoEncoder(nn.Module): def __init__(self, input_dim, dict_size, k8): super().__init__() self.encoder nn.Linear(input_dim, dict_size, biasFalse) self.decoder nn.Linear(dict_size, input_dim, biasTrue) self.k k def encode(self, x): pre_act self.encoder(x) values, indices SAEVerbalizer：从稀疏自编码器特征到可验证自然语言解释的落地流程
如果你正在做“大模型可解释性”大概率会遇到一个相当尴尬的阶段模型内部被你认真拆成了几千上万个稀疏特征每个特征有编号、有激活强度、有最强响应的文本片段可一旦被问到“这个特征到底在追踪什么”你只能对着屏幕猜。Sparse Autoencoder稀疏自编码器SAE这几年之所以受到关注是因为它能把 LLM 的高维内部表征拆成比神经元更“单义”的方向。拆出来的特征数量往往非常惊人几百、几千、甚至几十万。真正拦住实践者的已经不是能不能训练 SAE而是能不能高效为每个特征生成稳定、具体、可验证的自然语言解释。SAEVerbalizer 这个题目把注意力放在了一个非常关键的操作上——Representation Verbalization。从标题判断它的核心不是“再拿一批 Top 激活文本给大模型编一个说法”而是把特征的连续表征映射成自然语言表达再用可验证的方式确定解释。这篇文章不打算把一个没有公开完整实证的论文结果当成既定事实来讲而是从方法原理、工程结构和可复现代码三个层面拆解怎么落地这条“从特征到语言”的路径。最终你会得到一个可以在本地 CPU/小显卡上运行的完整流程并知道真正容易出问题的地方在哪。1. SAEVerbalizer 这篇文章真正要解决的问题假设你负责检查某个开源模型的内部状态正好被分到一个编号为feature_921的特征。你手里的信息包括这个特征在 1000 万 token 语料上的激活分布以及激活值最高的 20 条上下文。任务是给它写一个不超过 20 个字的解释。这看起来很简单实际上非常难。难在第一点特征太多。一个稍微认真的 SAE 检查点字典规模可能就是 2 万到 50 万。即使其中大量特征在给定语料上是“死”的剩下的活特征也远超人工标注能力。这决定了流程必须自动化。难在第二点解释缺少约束。人类从相同一批高激活片段里可能总结出“包含某个词缀”“语气负面”“提到某种实体”“位于句首”等各种解释。它们听起来都合理却无法区分到底哪种才是模型内部机制真正依赖的方向。更麻烦的是LLM 很擅长在给定文本里生成看似合理的“套话”。如果直接把 Top 激活上下文丢给模型它会倾向于产出“我观察到该特征与这段文本有关”这类无信息量句子。如果只看表面很多人会误以为 SAEVerbalizer 的贡献只是“换了一个提示词模板”。更稳妥的判断是它把“解释”重新定义成一个表征映射问题。也就是说要从特征激活对应的真值向量出发经过言语化模块生成自然语言候选并通过下游验证环节去排除幻觉式解释。这样一来解释不再是一次性文本生成而是一个“生成—验证—筛选”的闭环。什么样的读者应该关注这条技术路线如果你做的是模型可解释性、AI 安全审查、模型行为归因、训练数据泄漏分析或者你只是好奇“大模型内部到底记住和计算了什么”那 SAEVerbalizer 所代表的思路都值得你掌握。尤其是需要在工程上批量为 SAE 特征生成说明文档的团队这篇文章会很有参考价值。2. Sparse Autoencoder Features 基础概念与解释瓶颈理解 SAEVerbalizer 之前需要先对齐 Sparse Autoencoder Features 这个概念。SAE 的目标相对直观。给定某个模型在一批 token 上的内部表征矩阵 XSAE 会学习一个过完备字典。字典中的每一列代表一个方向单个 token 的表征则用稀疏的字典元素组合来表示。常见的稀疏化方式包括 L1 正则、TopK 稀疏约束等。训练目标通常是重构误差加上稀疏惩罚让每个输入只在少量字典方向上产生显著激活。如果把 LLM 的隐藏层状态比作一个城市的实时交通状态那么某个隐藏层维度就是“整条路的流量”它们互相纠缠难以分开而一个 SAE 特征更像“某个具体的出行目的”比如“去机场的人”“送孩子上学的人”“去景区的人”。后者在语义上更干净也更容易被单独描述。不过“更容易被描述”不等于“能被自动描述”。SAE 特征解释任务通常包含两个环节第一是证据收集。在大量语料上跑模型记录目标层的激活值选出每个特征激活最高的 token 或上下文片段。第二是解释生成。把证据交给人类或 LLM请它们总结出该特征的含义。这个流程有一个容易被忽略的问题证据收集给出的只是“该特征在什么时候显著”并不告诉它“为什么显著”。例如一个特征频繁在movie、cinema、film几个词附近激活这既可能表示“对电影领域实体敏感”也可能表示“对流式文本的高频 token 敏感”甚至可能只是某个位置编码模式产生的副作用。因此越来越多的工作开始强调“验证闭环”。生成解释只是中间产物最终要回到 SAE 特征本身查看解释能否解释更多样本能否预测特征在未见语料上的激活能否在扰动实验中被重复验证。SAEVerbalizer 中的 Representation Verbalization 思路正是沿着这条路径在往前走让“从表征到语言”的映射本身就带有可验证的空间而不是只依赖一段自然语言总结。3. Representation Verbalization 的核心逻辑与定位要说清 Representation Verbalization可以先从 “Verbalizer” 这个词谈起。在提示学习范式里Verbalizer 通常指“把模型输出映射到离散标签词”的映射函数。比如情感分类时你并不要求模型直接说“positive”或“negative”而是让模型在great与bad两个候选词之间做词汇预测再把概率映射回类别。这里的关键是原本连续的概率分布或表征空间需要一块“板子”把它翻译成人类能读的离散词。SAEVerbalizer 借用同一思路只不过它的映射对象不是分类标签而是“某个 SAE 特征是什么”的开放式解释。用大白话来说它不是一个让你“看完上下文再总结”的阅读理解系统而是试图建立一条从特征的表征方向或激活统计到自然语言描述的映射路径。特征激活不只是一个用来搜索文本的索引本身也是言语化模型的输入信号。从实现结构上看整条解释流水线可以分成三个模块模块作用常见输出容易踩的坑证据准备收集特征在高激活样本上的上下文与统计信息TopK 上下文、相邻 tokenpadding 错位、语料偏差Verbalization 映射把特征激活信息和上下文转换成自然语言候选解释短语、短句、模板解释太宽泛、套话严重验证与筛选检查解释是否具体、可泛化、可证伪分数、排序、是否通过测试自圆其说、过拟合少量样本这种方法与传统自动解释的核心差异可以归纳为下表对比维度传统 TopK 文本解释Representation Verbalization 思路主要输入激活最高的文本片段文本片段 特征激活模式/表征统计解释生成方式直接把文本喂给 LLM 让其总结显式构建“特征表征→语言描述”的映射约束强度弱模型容易发散强通常会约束候选格式、可验证性失败模式产生“语义正确但无用”的解释更容易暴露特征本身语义不稳定的问题工程落点单次 prompt生成、评分、筛选闭环上面这个表不是 SAEVerbalizer 每一篇实验的绝对结论而是关于路线差异的合理概括。实际论文怎么设置模块、如何训练 verbalizer需要以原始论文和发布代码为准。但从工程经验看把“验证”和“映射”放进同一套管道往往比单纯把问题抛给 LLM 更稳。4. 最小复现的整体设计与环境准备如果你想把这个抽象框架变成能跑的代码建议先不要急着在几十亿参数模型上大规模训练 SAE。更聪明的做法是先做最小复现用一个小型语言模型作为被解释对象提取它的中间表征训练一个小字典再把特征送入解释与验证模块。最小流程如下用一个可离线加载的小型语言模型在多条文本上跑前向保留某一层的 token 级 hidden state。用这些 hidden state 训练一个 Sparse Autoencoder。从 SAE 稀疏激活矩阵中挑选一个“活特征”。收集该特征激活最高的若干上下文。将上下文和特征统计信号交给 Verbalization 模块得到候选解释。对候选解释做一次简单验证判断它是否具体、可证伪。这套流程是带有教学性质的“最小版本”。它无法完整复现 SAEVerbalizer 为大规模 SAE 设计的全部细节但能帮你理解每一块在干什么也能作为接入真实开源 SAE 检查点时替换代码的骨架。环境方面建议使用 Python 3.10 及以上版本核心依赖为torch、transformers、scikit-learn、openai。如果你希望调用 OpenAI 兼容接口作为 Verbalization 模块需要保证网络可访问对应接口如果希望完全本地化可以把 Verbalization 模块替换为一个本地生成的文本模型例如transformers里加载的pipeline(text-generation)模型。安装命令示例如下mkdir sae-verbalizer-demo cd sae-verbalizer-demo python -m venv venv source venv/bin/activate pip install torch transformers scikit-learn openai numpy下面代码中会用到的模型名称只是用来演示流程不代表 SAEVerbalizer 官方实现使用的模型。版本以你实际安装的transformers和torch为准。如果你已经有真实 SAE 的权重和对应基座模型可以直接替换代码中的模型名称和路径。5. 代码实现一提取模型中间层表征第一步准备一个小型语言模型并提取它中间层的隐藏状态。这里选择hf-internal-testing/tiny-random-gpt2是为了让示例能在普通机器上跑通实际研究工作通常会换成你在意的大模型。# 文件路径sae_verbalizer_demo/extract_activations.py import json import torch import numpy as np from transformers import AutoModelForCausalLM, AutoTokenizer model_name hf-internal-testing/tiny-random-gpt2 texts [ the quick brown fox jumps over the lazy dog, I bought two tickets to see this movie, the weather today is sunny and warm, the model is counting every word in this sentence, ] tokenizer AutoTokenizer.from_pretrained(model_name) if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token model AutoModelForCausalLM.from_pretrained(model_name) model.eval() enc tokenizer( texts, paddingTrue, truncationTrue, max_length64, return_tensorspt, ) with torch.no_grad(): out model(**enc, output_hidden_statesTrue) # hidden_states 是一个元组第 0 项通常是 embedding 层输出 # 最后一项是最后一层输出。这里取倒数第二层作为演示目标层。 acts out.hidden_states[-2] # (batch, seq_len, hidden_size) attention_mask enc[attention_mask] input_ids enc[input_ids] state_list [] token_list [] for b in range(acts.size(0)): length attention_mask[b].sum().item() state_list.append(acts[b, :length]) token_list.extend( tokenizer.convert_ids_to_tokens(input_ids[b, :length].tolist()) ) all_states torch.cat(state_list, dim0) np.savez(activations.npz, statesall_states.numpy()) with open(tokens.json, w, encodingutf-8) as f: json.dump(token_list, f) print(hidden states shape:, acts.shape) print(valid token states:, all_states.shape) print(token list length:, len(token_list))这段代码的唯一目的是拿到 token 级表征同时保证 token 与状态向量一一对应。关键点在于 padding 过滤如果直接用 padding 后的整段序列训练 SAE模型会额外学到“padding token”这个虚假特征污染后续解释。运行后你会得到两个文件activations.npz保存全部有效 token 的向量tokens.json保存对应 token 列表。运行方式python sae_verbalizer_demo/extract_activations.py预期输出大致为hidden states shape: (4, 10, 32) valid token states: (40, 32) token list length: 40具体数字会随模型结构和文本数量变化。只要状态向量长度和 token 长度一致这一步就成功了。6. 代码实现二训练稀疏自编码器并选择特征下面定义一个简单的 TopK 稀疏自编码器。它和标准 SAE 的区别是编码器输出先取每个 token 激活值中的 TopK 个位置小于这些位置的值直接置 0。这样做的好处是稀疏度由 K 直接控制不需要调整复杂的 L1 权重。# 文件路径sae_verbalizer_demo/sae.py import torch import torch.nn as nn class SparseAutoEncoder(nn.Module): def __init__(self, input_dim, dict_size, k8): super().__init__() self.encoder nn.Linear(input_dim, dict_size, biasFalse) self.decoder nn.Linear(dict_size, input_dim, biasTrue) self.k k def encode(self, x): pre_act self.encoder(x) values, indices