如果你正在做孟加拉语Bengali方向的自然语言处理任务又受限于标注数据不足、GPU 资源紧张那么“稀疏化 Few-Shot 微调”这条路一定值得了解一下。本文将围绕BnBERT-iPET这个思路展开讲清楚如何用 Lottery Ticket Pruning彩票假设剪枝把庞大的 BERT 模型变“瘦”再结合 iPET 的迭代式伪标注机制在极少量标注样本下完成文本分类等任务。文中的核心概念、完整代码、训练流程和排错思路都会逐步展开。无论你是刚开始接触低资源语言建模的初学者还是在企业项目里做小样本分类落地的工程师这篇文章都能提供一个可操作的基线方案。1. 背景与核心概念1.1 低资源语言建模的困境与英文、中文等“高资源语言”相比孟加拉语Bengali的 NLP 生态差距非常大。虽然孟加拉语在全球拥有数亿使用者但公开可用的高质量标注数据集非常有限。很多业务场景里标注一批数据要么成本高要么需要领域专家参与。Few-Shot Learning 因此变得很有吸引力我们希望只给模型几十条或几百条标注样本模型就能学到可用的分类能力。但这里有一个绕不开的矛盾预训练语言模型如 BERT参数量巨大动辄上千万甚至上亿。在几百条样本上直接微调很容易过拟合而且训练和推理的算力成本也不小。于是“减少参数量 有效利用无标注数据”就成了低资源场景下的两条核心策略。1.2 什么是 BnBERTBnBERT 可以理解为“面向孟加拉语的 BERT 系列预训练模型”。在真实项目中通常指 BanglaBERT、BN-BERT 以及基于多语言 BERT如 mBERT、XLM-R的孟加拉语适配版本。这类模型用孟加拉语大规模文本做了 Masked Language Modeling 预训练因此对孟加拉语的字符、词形变化、语法结构有更好的建模能力。与直接使用多语言 BERT 相比BnBERT 在孟加拉语下游任务上通常能带来明显提升。本文以“BnBERT”作为模型抽象名实际代码中你可以替换成任意支持 Hugging Face Transformers 的孟加拉语预训练模型。1.3 iPET 的核心思想iPETIterative Prompt-based fine-Tuning来自论文Its not just size that matters: Small Language Models are also Few-Shot Learners。它解决的核心问题是标注样本太少模型难以训练。iPET 的思路很直接先用少量标注样本训练一个“弱模型”再用这个模型去给大量无标注数据打伪标签Pseudo Label。然后从伪标签数据里挑出模型“最有把握”的样本加入到训练集中重复训练、预测、筛选、扩增这个过程。每一轮迭代后训练集不断变大模型能力也逐步增强。概括来说iPET 多次迭代 置信度筛选 训练集扩张。它特别适合标注数据稀缺、但存在大量无标注文本的场景。1.4 Lottery Ticket Hypothesis 与稀疏化Lottery Ticket Hypothesis彩票假设是 2019 年提出的一种神经网络剪枝理论。它指出在一个随机初始化的网络中存在一部分“中奖彩票”Winning Tickets子网络。如果单独训练这个子网络它有望达到甚至超过原始完整网络的性能。传统剪枝流程通常包括训练完整网络。按某种重要性准则比如权重绝对值大小剪掉不重要的连接。将剩余网络重置为初始状态或早期训练状态Rewinding。继续训练这个稀疏网络。在 Few-Shot 场景中Lottery Ticket 的意义更加特殊我们不仅要追求模型更小更希望子网络本身具备更强的泛化能力。稀疏结构本身可以看作一种正则化能在数据极端有限的情况下抑制过拟合。1.5 本文的核心内容范围本篇文章会围绕以下内容展开如何在 Hugging Face Transformers 框架下加载 BnBERT。如何实现简化版 Lottery Ticket Pruning生成稀疏掩码Mask。如何实现 iPET 风格的迭代式伪标注训练。如何将两者结合在极少量标注数据上完成文本分类实验。常见问题、实验观察与工程建议。2. 环境准备与版本说明2.1 推荐运行环境在开始之前先说明一下推荐环境。不同机器的 CUDA、显卡驱动、Python 版本都有差异本文以常见稳定版本为例重点演示配置思路具体版本需要根据你的项目实际情况调整。操作系统Ubuntu 20.04 / 22.04 或 Windows with WSL2 Python3.8 或 3.9 CUDA11.x 或 12.x GPU建议显存 8GB 以上2.2 依赖库安装本文代码主要基于 PyTorch 和 Hugging Face Transformers。建议新建虚拟环境后安装依赖python -m venv venv source venv/bin/activate # Windows 下为 venv\Scripts\activate pip install torch --index-url https://download.pytorch.org/whl/cu118 pip install transformers datasets accelerate scikit-learn版本的说明PyTorch 建议使用 1.13 及以上版本Transformers 建议使用 4.x 较新版本。如果你的项目已经有固定版本环境并不需要完全照搬本文版本关键是要保证transformers的接口形式和本文示例一致。2.3 示例项目结构为了让代码更清晰建议使用下面的项目结构bnbert_ipet/ ├── data/ │ ├── train.csv │ ├── unlabeled.csv │ └── test.csv ├── src/ │ ├── data_utils.py │ ├── lth.py │ ├── ipet.py │ └── train.py └── outputs/在下文实战中我会按照这个结构逐步给出代码片段。如果你的任务不是文本分类而是序列标注、句子对匹配核心思路仍然一致只需调整数据加载和输出层。3. 核心方法拆解3.1 Lottery Ticket Pruning 的简化流程在 Hugging Face Transformers 中BERT 模型的参数主要分布在Embedding 层bert.embeddings.word_embeddings.weight注意力层bert.encoder.layer[i].attention.self.query.weight、key.weight、value.weight前馈网络层bert.encoder.layer[i].intermediate.dense.weight、bert.encoder.layer[i].output.dense.weight分类头classifier.weight我们可以在这些权重上生成一个二值 Mask重要位置为 1不重要位置为 0。每次前向传播时让权重乘以 Mask屏蔽掉被剪掉的连接。Lottery Ticket 的一个关键步骤是 Rewinding。常见做法有两种Weight Rewinding把权重重置到训练早期的 checkpoint。Learning Rate Rewinding权重不重置但把学习率调回初始值。在 Few-Shot 场景下由于目标任务数据太少直接从目标任务上寻找 Winning Ticket 不太稳定。更实用的做法是先在大规模无标注数据或辅助数据上做一轮 Warmup 训练剪出 Mask再回到初始权重在目标 Few-Shot 数据上微调。3.2 iPET 的迭代机制iPET 的基本流程可以拆解为以下几步初始训练用少量标注数据训练一个初始模型 M0。伪标注用 M0 对无标注数据池进行预测得到伪标签。置信度筛选只保留概率超过阈值 τ 的样本或者按概率排序取 Top N。合并扩增将筛选出的伪标注数据与原始标注数据合并。重新训练用扩增后的训练集训练新模型 M1。迭代重复第 2 到第 5 步若干轮。需要说明的是iPET 原论文中会训练多个模型做集成以降低伪标签噪声。本文为了简化先实现单模型版本并预留多模型扩展接口。3.3 为什么稀疏化能与 iPET 互补iPET 的副作用是训练集会持续变大模型在更多伪标注数据上迭代计算开销也随之上升。如果模型本身是稠密的每轮训练都很昂贵。通过 Lottery Ticket Pruning 得到一个稀疏子网络后实际参与计算的参数量大幅减少训练和推理速度都有提升。另一方面稀疏 Mask 的固定结构相当于一种“先验约束”能削弱模型对少数标注样本的过度记忆。两者结合在数据有限、算力有限的条件下是一个很务实的组合。4. 完整实战BnBERT Lottery Ticket iPET下面我们进入代码实现环节。为保证大家能看懂每一步我会先把核心模块拆分讲解最后再组合成完整训练流程。4.1 数据准备构造 Few-Shot 样本首先假设我们有一个孟加拉语文本分类数据集CSV 格式大致如下text,label আমার সোনার বাংলা আমি তোমায় ভালোবাসি,0 বাংলাদেশ একটি সুন্দর দেশ,1 ...其中text是孟加拉语文本label是类别编号。为了方便演示我们实现一个从 CSV 读取数据并生成 PyTorch DataLoader 的工具。# 文件路径src/data_utils.py import pandas as pd from torch.utils.data import Dataset from transformers import AutoTokenizer class BengaliTextDataset(Dataset): def __init__(self, df, tokenizer, max_len128): self.df df.reset_index(dropTrue) self.tokenizer tokenizer self.max_len max_len def __len__(self): return len(self.df) def __getitem__(self, idx): row self.df.iloc[idx] text str(row[text]) label int(row[label]) encoding self.tokenizer( text, truncationTrue, paddingmax_length, max_lengthself.max_len, return_tensorspt ) return { input_ids: encoding[input_ids].squeeze(0), attention_mask: encoding[attention_mask].squeeze(0), labels: torch.tensor(label, dtypetorch.long) } def load_data(csv_path, tokenizer, max_len128, sample_sizeNone): df pd.read_csv(csv_path) if sample_size is not None: df df.sample(nsample_size, random_state42) dataset BengaliTextDataset(df, tokenizer, max_len) return dataset这里使用AutoTokenizer.from_pretrained(csebuetnlp/banglabert)即可加载对应的孟加拉语 BERT 分词器。如果你的模型不是 BanglaBERT请替换为对应模型名称。4.2 加载 BnBERT 预训练模型接下来加载模型。以 BanglaBERT 为例我们使用BertForSequenceClassification。# 文件路径src/train.py部分 from transformers import AutoTokenizer, BertForSequenceClassification MODEL_NAME csebuetnlp/banglabert NUM_LABELS 2 tokenizer AutoTokenizer.from_pretrained(MODEL_NAME) model BertForSequenceClassification.from_pretrained( MODEL_NAME, num_labelsNUM_LABELS )如果你使用的是其他 BnBERT 变体也可以先尝试用AutoModelForSequenceClassification.from_pretrained自动适配。4.3 实现 Lottery Ticket MaskLottery Ticket Pruning 的核心是 Mask 的生成和应用。我们定义一个工具类LotteryTicketPruner主要完成三件事根据模型参数幅度生成 Mask。将 Mask 应用到模型参数上前向传播时原位乘上 Mask。支持恢复初始权重。# 文件路径src/lth.py import torch class LotteryTicketPruner: def __init__(self, model): self.model model self.masks {} self.init_weights {} def save_init_weights(self): 保存模型初始权重用于 Rewinding 时恢复。 for name, param in self.model.named_parameters(): if param.requires_grad: self.init_weights[name] param.data.clone() def compute_mask(self, sparsity_ratio0.7): 根据权重绝对值大小生成二值 Mask。 sparsity_ratio: 剪枝比例例如 0.7 表示剪掉 70% 的连接。 self.masks {} for name, param in self.model.named_parameters(): if param.requires_grad: weight param.data.view(-1) k int(weight.numel() * (1 - sparsity_ratio)) if k 1: k 1 # 选取绝对值最大的 k 个位置作为保留连接 threshold torch.topk(weight.abs(), k).values[-1] mask (param.data.abs() threshold).float() self.masks[name] mask def apply_mask(self): 把 Mask 应用到模型参数上被剪掉的连接直接置零。 with torch.no_grad(): for name, param in self.model.named_parameters(): if name in self.masks: param.data.mul_(self.masks[name]) def rewind_weights(self): 将模型权重恢复到初始状态。在 Rewinding 中使用。 with torch.no_grad(): for name, param in self.model.named_parameters(): if name in self.init_weights: param.data.copy_(self.init_weights[name])需要强调一点这里只做了“权重置零”的稀疏化。实际训练中如果优化器如 Adam里维护了动量、方差等状态也应该在 Rewinding 时同步重置否则会影响训练效果。本文为了突出核心逻辑没有展开这一步你在工程落地时需要加上。4.4 实现 iPET 伪标注与训练集扩增iPET 部分的核心是“训练模型 - 预测无标注数据 - 筛选置信样本 - 扩增训练集”。我们用一个函数来完成单轮扩增逻辑。# 文件路径src/ipet.py import torch from torch.utils.data import DataLoader from tqdm import tqdm def predict_proba(model, dataloader, device): 返回所有样本的预测概率。 model.eval() probs [] with torch.no_grad(): for batch in tqdm(dataloader, descPredicting): input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) outputs model(input_ids, attention_maskattention_mask) probs_batch torch.softmax(outputs.logits, dim-1) probs.append(probs_batch.cpu()) return torch.cat(probs, dim0) def filter_pseudo_labels(probs, confidence_threshold0.8, top_nNone): 根据置信度筛选伪标注样本。 返回样本索引列表和对应的伪标签。 max_probs, preds probs.max(dim-1) confident_idx (max_probs confidence_threshold).nonzero(as_tupleTrue)[0] if top_n is not None and len(confident_idx) top_n: sorted_idx confident_idx[torch.argsort(max_probs[confident_idx], descendingTrue)] confident_idx sorted_idx[:top_n] return confident_idx.tolist(), preds[confident_idx].tolist() def extend_train_set(original_df, unlabeled_df, pseudo_idx, pseudo_labels): 将筛选出的伪标注样本合并到训练集中。 selected_df unlabeled_df.iloc[pseudo_idx].copy() selected_df[label] pseudo_labels new_train_df pd.concat([original_df, selected_df], ignore_indexTrue) return new_train_df这段代码的思路是先得到模型对无标注数据的预测概率再按置信度阈值筛选。为了防止某类样本过多可以按类别分别选取 Top N这个在真实场景中很重要。4.5 训练循环与剪枝流程整合有了上面几个模块我们可以把它们编排成完整的实验脚本了。下面的代码是按流程组织起来的“骨架”它会依次执行加载数据。初始化模型与分词器。先做短期的 Warmup 训练用于寻找 Lottery Ticket Mask。保存初始权重。计算 Mask应用 MaskRewind 权重。进入 iPET 迭代每轮训练、伪标注、扩增。# 文件路径src/train.py import pandas as pd import torch from torch.utils.data import DataLoader from transformers import AutoTokenizer, BertForSequenceClassification from data_utils import load_data, BengaliTextDataset from lth import LotteryTicketPruner from ipet import predict_proba, filter_pseudo_labels, extend_train_set # 超参数 MODEL_NAME csebuetnlp/banglabert NUM_LABELS 2 BATCH_SIZE 16 MAX_LEN 128 LR 2e-5 EPOCHS_WARMUP 5 # 用于寻找 Mask 的 Warmup 轮数 EPOCHS_IPET 20 # iPET 每轮正式训练轮数 SPARSITY_RATIO 0.7 # 剪枝比例 CONFIDENCE_THRESHOLD 0.8 # 伪标签置信度阈值 IPET_ROUNDS 3 # iPET 迭代轮数 DEVICE torch.device(cuda if torch.cuda.is_available() else cpu) # 1. 加载数据 train_df pd.read_csv(data/train.csv) unlabeled_df pd.read_csv(data/unlabeled.csv) test_df pd.read_csv(data/test.csv) tokenizer AutoTokenizer.from_pretrained(MODEL_NAME) model BertForSequenceClassification.from_pretrained(MODEL_NAME, num_labelsNUM_LABELS).to(DEVICE) # 2. 初始化工具 pruner LotteryTicketPruner(model) optimizer torch.optim.AdamW(model.parameters(), lrLR) loss_fn torch.nn.CrossEntropyLoss() def train_one_epoch(model, dataloader, optimizer, loss_fn, device): model.train() total_loss 0 for batch in dataloader: input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) labels batch[labels].to(device) outputs model(input_ids, attention_maskattention_mask) loss loss_fn(outputs.logits, labels) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(dataloader) # 3. Warmup 训练用少量原始标注数据 train_dataset load_data(data/train.csv, tokenizer, MAX_LEN) train_loader DataLoader(train_dataset, batch_sizeBATCH_SIZE, shuffleTrue) for epoch in range(EPOCHS_WARMUP): loss train_one_epoch(model, train_loader, optimizer, loss_fn, DEVICE) print(fWarmup Epoch {epoch1}/{EPOCHS_WARMUP}, Loss: {loss:.4f}) # 4. 保存初始权重计算 Mask应用 Mask 并 Rewind pruner.save_init_weights() pruner.compute_mask(sparsity_ratioSPARSITY_RATIO) pruner.apply_mask() pruner.rewind_weights() print(f当前稀疏度: {SPARSITY_RATIO * 100:.1f}% 参数被置零) # 5. iPET 迭代 current_train_df train_df.copy() for rnd in range(IPET_ROUNDS): print(f iPET Round {rnd 1} ) # 从当前训练集构建 DataLoader current_dataset BengaliTextDataset(current_train_df, tokenizer, MAX_LEN) current_loader DataLoader(current_dataset, batch_sizeBATCH_SIZE, shuffleTrue) # 训练模型 for epoch in range(EPOCHS_IPET): loss train_one_epoch(model, current_loader, optimizer, loss_fn, DEVICE) print(fEpoch {epoch1}/{EPOCHS_IPET}, Loss: {loss:.4f}) # 对无标注数据预测 unlabeled_dataset BengaliTextDataset(unlabeled_df, tokenizer, MAX_LEN) unlabeled_loader DataLoader(unlabeled_dataset, batch_sizeBATCH_SIZE, shuffleFalse) probs predict_proba(model, unlabeled_loader, DEVICE) # 筛选伪标签 pseudo_idx, pseudo_labels filter_pseudo_labels( probs, confidence_thresholdCONFIDENCE_THRESHOLD, top_n200 ) if len(pseudo_idx) 0: print(没有足够置信的伪标签样本提前停止。) break # 扩增训练集 current_train_df extend_train_set( current_train_df, unlabeled_df, pseudo_idx, pseudo_labels ) print(f当前训练集大小: {len(current_train_df)}) # 6. 在测试集上评估 test_dataset BengaliTextDataset(test_df, tokenizer, MAX_LEN) test_loader DataLoader(test_dataset, batch_sizeBATCH_SIZE, shuffleFalse) model.eval() correct 0 total 0 with torch.no_grad(): for batch in test_loader: input_ids batch[input_ids].to(DEVICE) attention_mask batch[attention_mask].to(DEVICE) labels batch[labels].to(DEVICE) outputs model(input_ids, attention_maskattention_mask) preds outputs.logits.argmax(dim-1) correct (preds labels).sum().item() total labels.size(0) print(fTest Accuracy: {correct / total:.4f})以上代码是核心流程演示。这里有一个需要注意的地方在每一轮 iPET 训练中我们使用的是同一个optimizer。由于模型经过了剪枝与 Rewinding最好在 Rewind 之后重建优化器否则 Adam 状态里还残留着 Warmup 阶段的信息会影响收敛。你可以根据实际场景调整的地方包括EPOCHS_WARMUP 太少会导致 Mask 不可靠太多又可能在少量数据上过拟合。SPARSITY_RATIO 可以先从 0.5 开始试逐步往上调。CONFIDENCE_THRESHOLD 建议先观察预测概率分布后确定不要盲目设置。4.6 完整训练流程的 ASCII 图为了方便理解整个流程我用一段简单的 ASCII 图来表示原始标注数据 (少量) | v Warmup 训练模型 | v 计算 Lottery Ticket Mask | v 权重 Rewind 到初始状态 | v 应用 Mask - 稀疏模型 | v iPET Round 1: 训练稀疏模型 - 伪标注 置信筛选 - 训练集扩增 | v iPET Round 2: 训练稀疏模型 - 伪标注 置信筛选 - 训练集扩增 | v iPET Round 3: ... | v 测试集评估5. 实验观察与结果分析思路这一节我提供一个分析实验结果的框架。由于不同数据集、不同预训练模型、不同 Few-Shot 样本量都会带来结果差异这里不给具体数值而是给出观察结论的判断标准。5.1 稀疏度与模型性能的关系当我们逐步提高剪枝比例时通常会看到以下现象稀疏度参数量预期表现分析思路0%稠密基线100%在少量数据上容易过拟合作为对照实验30%-50%50%-70%性能可能保持或略降稀疏化相当于正则化70%-90%10%-30%性能下降开始明显关键结构可能被剪掉95%以上5%以下性能大幅下降过度剪枝信息丢失严重在 Few-Shot 场景下适度稀疏比如 50%-70%有时反而能提升测试集表现这是因为少量参数更不容易过拟合。5.2 iPET 迭代轮数的影响iPET 并非越多轮越好。随着迭代进行训练集会越来越大模型可获得更多监督信号。但如果伪标签错误率较高错误信号也会被放大。建议在每一轮迭代后都在验证集上评估一次。如果连续两轮准确率没有明显提升就停止迭代避免引入噪声数据。5.3 与全参数微调的对比在复现实验时至少要跑两个对照对照 A直接全参数微调 BnBERT不使用剪枝不使用 iPET。对照 BBnBERT Lottery Ticket Pruning不使用 iPET。主实验BnBERT Lottery Ticket Pruning iPET。这样你就能判断性能和成本提升分别来自稀疏化还是 iPET 扩增便于后续优化。6. 常见问题与排查思路6.1 常见问题速查表问题现象常见原因解决思路训练 Loss 不下降学习率过大或过小数据长度截断严重检查学习率检查 tokenizer 输出长度Mask 应用后模型输出异常Mask 与参数形状不匹配检查named_parameters()是否包含不需要剪枝的层伪标注样本全部被过滤置信度阈值设置过高模型欠拟合降低阈值增加 Warmup 轮数显存不足批次过大序列过长减小BATCH_SIZE或MAX_LENiPET 扩增后效果变差伪标签噪声大类别不平衡按类别筛选 Top N提高置信度阈值Rewind 后训练不收敛优化器状态未重置在 Rewind 后重新创建优化器6.2 案例Rewind 之后 Loss 震荡怎么办如果你发现应用 Mask 并 Rewind 后Loss 在训练初期震荡非常严重优先检查以下几点是否在 Rewind 后重建了优化器。学习率是否需要下调。稀疏网络的可训练参数少学习率通常要比稠密网络小一些。剪枝比例是否过高。如果剪掉比例超过 90%保留的连接可能不足以支撑有效学习。实践中一个可行的做法是Rewind 后前两个 Epoch 使用较小的学习率比如 1e-5做 warmup再恢复到正常学习率。6.3 案例伪标签噪声过大的规避方法iPET 的伪标签本质上是有噪声的。如果无标注数据与训练数据分布差异很大早期模型的预测会非常不可靠。可以这样做只选取置信度超过 0.9 的样本。对每个类别设置最大扩增数量上限。在扩增完成后随机抽样人工检查一部分伪标注估算噪声比例。更稳健的方法是训练多个模型做投票只保留多个模型预测一致的样本。7. 工程实践建议7.1 数据与标注策略在医疗、金融、法律等高风险场景中伪标注数据不能直接用于最终决策。建议将伪标注数据单独隔离定期抽样人工复核。如果你是从零开始做孟加拉语 NLP 项目可以优先在社交媒体文本、新闻语料等领域积累无标注数据这些数据获取成本低适合作为 iPET 的伪标注池。7.2 稀疏训练注意事项Lottery Ticket Pruning 在实现时要注意以下工程细节不要剪 Embedding 层。BERT 的 Token Embedding 与词表强相关剪掉这些连接会直接影响模型对输入表示的能力。你可以只在注意力层和 FFN 层做剪枝。保留 LayerNorm 层。LayerNorm 的参数非常少但作用关键不适合剪枝。保存 Mask 文件。训练结束后不仅保存模型权重也要保存 Mask。推理时加载同样结构的稀疏模型否则无法复现效果。关注推理性能。如果你使用 PyTorch 稀疏张量或实际置零权重要注意推理框架是否真正获得了加速。某些情况下置零权重并不会减少计算量还需要配合剪枝库或推理框架。7.3 可复现性与实验管理Few-Shot 实验对随机种子非常敏感。每次运行前固定random.seed、numpy.random.seed、torch.manual_seed并在代码中保存最终的配置文件。import random import numpy as np import torch def set_seed(seed: int 42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True7.4 部署与上线建议稀疏模型在部署时需要检查推理框架对稀疏矩阵的支持程度。常见的做法有将置零权重保存为稀疏矩阵格式。使用 ONNX Runtime 的稀疏推理能力。或者结合蒸馏把稀疏模型的知识蒸馏到一个更小的稠密模型中。无论采用哪种方式都要在测试集上重新评估剪枝后的模型效果不能只看训练集表现。8. 总结与下一步规划本文围绕 BnBERT-iPET 这个主题介绍了如何在孟加拉语低资源场景下将 Lottery Ticket Pruning 与 iPET 迭代式伪标注相结合。实践中你至少可以掌握以下关键点使用 Hugging Face Transformers 加载孟加拉语 BERT 模型。通过幅度剪枝生成二值 Mask实现 Lottery Ticket 风格的稀疏训练。通过置信度过滤和无标注数据扩增实现 iPET 的迭代训练流程。建立“稠密基线 vs 稀疏模型 vs 稀疏 iPET”的对照实验框架。学会处理 Rewinding 不收敛、伪标签噪声、显存不足等实际问题。下一步你可以继续深入研究的方向包括用集成模型替代单模型提高伪标签质量。尝试不同剪枝准则例如基于梯度、基于 Hessian替代幅度剪枝。在相同稀疏度下对比 Lottery Ticket 与随机 Mask 的差异。尝试把稀疏化与 Prompt Tuning、Adapter 等参数高效微调方法结合。在实际项目中优先关注的是伪标签噪声和数据分布偏移。只要这两个问题控制好Few-Shot 稀疏化方案完全可以在资源有限、标注不足的环境里跑出可用的模型。也建议你把实验记录整理下来方便后续复现和调优。如果本文对你有帮助欢迎收藏备用也可以在评论区聊聊你的 Few-Shot 实践经验。 BnBERT+iPET：彩票假设剪枝与Few-Shot微调实现低资源孟加拉语文本分类
如果你正在做孟加拉语Bengali方向的自然语言处理任务又受限于标注数据不足、GPU 资源紧张那么“稀疏化 Few-Shot 微调”这条路一定值得了解一下。本文将围绕BnBERT-iPET这个思路展开讲清楚如何用 Lottery Ticket Pruning彩票假设剪枝把庞大的 BERT 模型变“瘦”再结合 iPET 的迭代式伪标注机制在极少量标注样本下完成文本分类等任务。文中的核心概念、完整代码、训练流程和排错思路都会逐步展开。无论你是刚开始接触低资源语言建模的初学者还是在企业项目里做小样本分类落地的工程师这篇文章都能提供一个可操作的基线方案。1. 背景与核心概念1.1 低资源语言建模的困境与英文、中文等“高资源语言”相比孟加拉语Bengali的 NLP 生态差距非常大。虽然孟加拉语在全球拥有数亿使用者但公开可用的高质量标注数据集非常有限。很多业务场景里标注一批数据要么成本高要么需要领域专家参与。Few-Shot Learning 因此变得很有吸引力我们希望只给模型几十条或几百条标注样本模型就能学到可用的分类能力。但这里有一个绕不开的矛盾预训练语言模型如 BERT参数量巨大动辄上千万甚至上亿。在几百条样本上直接微调很容易过拟合而且训练和推理的算力成本也不小。于是“减少参数量 有效利用无标注数据”就成了低资源场景下的两条核心策略。1.2 什么是 BnBERTBnBERT 可以理解为“面向孟加拉语的 BERT 系列预训练模型”。在真实项目中通常指 BanglaBERT、BN-BERT 以及基于多语言 BERT如 mBERT、XLM-R的孟加拉语适配版本。这类模型用孟加拉语大规模文本做了 Masked Language Modeling 预训练因此对孟加拉语的字符、词形变化、语法结构有更好的建模能力。与直接使用多语言 BERT 相比BnBERT 在孟加拉语下游任务上通常能带来明显提升。本文以“BnBERT”作为模型抽象名实际代码中你可以替换成任意支持 Hugging Face Transformers 的孟加拉语预训练模型。1.3 iPET 的核心思想iPETIterative Prompt-based fine-Tuning来自论文Its not just size that matters: Small Language Models are also Few-Shot Learners。它解决的核心问题是标注样本太少模型难以训练。iPET 的思路很直接先用少量标注样本训练一个“弱模型”再用这个模型去给大量无标注数据打伪标签Pseudo Label。然后从伪标签数据里挑出模型“最有把握”的样本加入到训练集中重复训练、预测、筛选、扩增这个过程。每一轮迭代后训练集不断变大模型能力也逐步增强。概括来说iPET 多次迭代 置信度筛选 训练集扩张。它特别适合标注数据稀缺、但存在大量无标注文本的场景。1.4 Lottery Ticket Hypothesis 与稀疏化Lottery Ticket Hypothesis彩票假设是 2019 年提出的一种神经网络剪枝理论。它指出在一个随机初始化的网络中存在一部分“中奖彩票”Winning Tickets子网络。如果单独训练这个子网络它有望达到甚至超过原始完整网络的性能。传统剪枝流程通常包括训练完整网络。按某种重要性准则比如权重绝对值大小剪掉不重要的连接。将剩余网络重置为初始状态或早期训练状态Rewinding。继续训练这个稀疏网络。在 Few-Shot 场景中Lottery Ticket 的意义更加特殊我们不仅要追求模型更小更希望子网络本身具备更强的泛化能力。稀疏结构本身可以看作一种正则化能在数据极端有限的情况下抑制过拟合。1.5 本文的核心内容范围本篇文章会围绕以下内容展开如何在 Hugging Face Transformers 框架下加载 BnBERT。如何实现简化版 Lottery Ticket Pruning生成稀疏掩码Mask。如何实现 iPET 风格的迭代式伪标注训练。如何将两者结合在极少量标注数据上完成文本分类实验。常见问题、实验观察与工程建议。2. 环境准备与版本说明2.1 推荐运行环境在开始之前先说明一下推荐环境。不同机器的 CUDA、显卡驱动、Python 版本都有差异本文以常见稳定版本为例重点演示配置思路具体版本需要根据你的项目实际情况调整。操作系统Ubuntu 20.04 / 22.04 或 Windows with WSL2 Python3.8 或 3.9 CUDA11.x 或 12.x GPU建议显存 8GB 以上2.2 依赖库安装本文代码主要基于 PyTorch 和 Hugging Face Transformers。建议新建虚拟环境后安装依赖python -m venv venv source venv/bin/activate # Windows 下为 venv\Scripts\activate pip install torch --index-url https://download.pytorch.org/whl/cu118 pip install transformers datasets accelerate scikit-learn版本的说明PyTorch 建议使用 1.13 及以上版本Transformers 建议使用 4.x 较新版本。如果你的项目已经有固定版本环境并不需要完全照搬本文版本关键是要保证transformers的接口形式和本文示例一致。2.3 示例项目结构为了让代码更清晰建议使用下面的项目结构bnbert_ipet/ ├── data/ │ ├── train.csv │ ├── unlabeled.csv │ └── test.csv ├── src/ │ ├── data_utils.py │ ├── lth.py │ ├── ipet.py │ └── train.py └── outputs/在下文实战中我会按照这个结构逐步给出代码片段。如果你的任务不是文本分类而是序列标注、句子对匹配核心思路仍然一致只需调整数据加载和输出层。3. 核心方法拆解3.1 Lottery Ticket Pruning 的简化流程在 Hugging Face Transformers 中BERT 模型的参数主要分布在Embedding 层bert.embeddings.word_embeddings.weight注意力层bert.encoder.layer[i].attention.self.query.weight、key.weight、value.weight前馈网络层bert.encoder.layer[i].intermediate.dense.weight、bert.encoder.layer[i].output.dense.weight分类头classifier.weight我们可以在这些权重上生成一个二值 Mask重要位置为 1不重要位置为 0。每次前向传播时让权重乘以 Mask屏蔽掉被剪掉的连接。Lottery Ticket 的一个关键步骤是 Rewinding。常见做法有两种Weight Rewinding把权重重置到训练早期的 checkpoint。Learning Rate Rewinding权重不重置但把学习率调回初始值。在 Few-Shot 场景下由于目标任务数据太少直接从目标任务上寻找 Winning Ticket 不太稳定。更实用的做法是先在大规模无标注数据或辅助数据上做一轮 Warmup 训练剪出 Mask再回到初始权重在目标 Few-Shot 数据上微调。3.2 iPET 的迭代机制iPET 的基本流程可以拆解为以下几步初始训练用少量标注数据训练一个初始模型 M0。伪标注用 M0 对无标注数据池进行预测得到伪标签。置信度筛选只保留概率超过阈值 τ 的样本或者按概率排序取 Top N。合并扩增将筛选出的伪标注数据与原始标注数据合并。重新训练用扩增后的训练集训练新模型 M1。迭代重复第 2 到第 5 步若干轮。需要说明的是iPET 原论文中会训练多个模型做集成以降低伪标签噪声。本文为了简化先实现单模型版本并预留多模型扩展接口。3.3 为什么稀疏化能与 iPET 互补iPET 的副作用是训练集会持续变大模型在更多伪标注数据上迭代计算开销也随之上升。如果模型本身是稠密的每轮训练都很昂贵。通过 Lottery Ticket Pruning 得到一个稀疏子网络后实际参与计算的参数量大幅减少训练和推理速度都有提升。另一方面稀疏 Mask 的固定结构相当于一种“先验约束”能削弱模型对少数标注样本的过度记忆。两者结合在数据有限、算力有限的条件下是一个很务实的组合。4. 完整实战BnBERT Lottery Ticket iPET下面我们进入代码实现环节。为保证大家能看懂每一步我会先把核心模块拆分讲解最后再组合成完整训练流程。4.1 数据准备构造 Few-Shot 样本首先假设我们有一个孟加拉语文本分类数据集CSV 格式大致如下text,label আমার সোনার বাংলা আমি তোমায় ভালোবাসি,0 বাংলাদেশ একটি সুন্দর দেশ,1 ...其中text是孟加拉语文本label是类别编号。为了方便演示我们实现一个从 CSV 读取数据并生成 PyTorch DataLoader 的工具。# 文件路径src/data_utils.py import pandas as pd from torch.utils.data import Dataset from transformers import AutoTokenizer class BengaliTextDataset(Dataset): def __init__(self, df, tokenizer, max_len128): self.df df.reset_index(dropTrue) self.tokenizer tokenizer self.max_len max_len def __len__(self): return len(self.df) def __getitem__(self, idx): row self.df.iloc[idx] text str(row[text]) label int(row[label]) encoding self.tokenizer( text, truncationTrue, paddingmax_length, max_lengthself.max_len, return_tensorspt ) return { input_ids: encoding[input_ids].squeeze(0), attention_mask: encoding[attention_mask].squeeze(0), labels: torch.tensor(label, dtypetorch.long) } def load_data(csv_path, tokenizer, max_len128, sample_sizeNone): df pd.read_csv(csv_path) if sample_size is not None: df df.sample(nsample_size, random_state42) dataset BengaliTextDataset(df, tokenizer, max_len) return dataset这里使用AutoTokenizer.from_pretrained(csebuetnlp/banglabert)即可加载对应的孟加拉语 BERT 分词器。如果你的模型不是 BanglaBERT请替换为对应模型名称。4.2 加载 BnBERT 预训练模型接下来加载模型。以 BanglaBERT 为例我们使用BertForSequenceClassification。# 文件路径src/train.py部分 from transformers import AutoTokenizer, BertForSequenceClassification MODEL_NAME csebuetnlp/banglabert NUM_LABELS 2 tokenizer AutoTokenizer.from_pretrained(MODEL_NAME) model BertForSequenceClassification.from_pretrained( MODEL_NAME, num_labelsNUM_LABELS )如果你使用的是其他 BnBERT 变体也可以先尝试用AutoModelForSequenceClassification.from_pretrained自动适配。4.3 实现 Lottery Ticket MaskLottery Ticket Pruning 的核心是 Mask 的生成和应用。我们定义一个工具类LotteryTicketPruner主要完成三件事根据模型参数幅度生成 Mask。将 Mask 应用到模型参数上前向传播时原位乘上 Mask。支持恢复初始权重。# 文件路径src/lth.py import torch class LotteryTicketPruner: def __init__(self, model): self.model model self.masks {} self.init_weights {} def save_init_weights(self): 保存模型初始权重用于 Rewinding 时恢复。 for name, param in self.model.named_parameters(): if param.requires_grad: self.init_weights[name] param.data.clone() def compute_mask(self, sparsity_ratio0.7): 根据权重绝对值大小生成二值 Mask。 sparsity_ratio: 剪枝比例例如 0.7 表示剪掉 70% 的连接。 self.masks {} for name, param in self.model.named_parameters(): if param.requires_grad: weight param.data.view(-1) k int(weight.numel() * (1 - sparsity_ratio)) if k 1: k 1 # 选取绝对值最大的 k 个位置作为保留连接 threshold torch.topk(weight.abs(), k).values[-1] mask (param.data.abs() threshold).float() self.masks[name] mask def apply_mask(self): 把 Mask 应用到模型参数上被剪掉的连接直接置零。 with torch.no_grad(): for name, param in self.model.named_parameters(): if name in self.masks: param.data.mul_(self.masks[name]) def rewind_weights(self): 将模型权重恢复到初始状态。在 Rewinding 中使用。 with torch.no_grad(): for name, param in self.model.named_parameters(): if name in self.init_weights: param.data.copy_(self.init_weights[name])需要强调一点这里只做了“权重置零”的稀疏化。实际训练中如果优化器如 Adam里维护了动量、方差等状态也应该在 Rewinding 时同步重置否则会影响训练效果。本文为了突出核心逻辑没有展开这一步你在工程落地时需要加上。4.4 实现 iPET 伪标注与训练集扩增iPET 部分的核心是“训练模型 - 预测无标注数据 - 筛选置信样本 - 扩增训练集”。我们用一个函数来完成单轮扩增逻辑。# 文件路径src/ipet.py import torch from torch.utils.data import DataLoader from tqdm import tqdm def predict_proba(model, dataloader, device): 返回所有样本的预测概率。 model.eval() probs [] with torch.no_grad(): for batch in tqdm(dataloader, descPredicting): input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) outputs model(input_ids, attention_maskattention_mask) probs_batch torch.softmax(outputs.logits, dim-1) probs.append(probs_batch.cpu()) return torch.cat(probs, dim0) def filter_pseudo_labels(probs, confidence_threshold0.8, top_nNone): 根据置信度筛选伪标注样本。 返回样本索引列表和对应的伪标签。 max_probs, preds probs.max(dim-1) confident_idx (max_probs confidence_threshold).nonzero(as_tupleTrue)[0] if top_n is not None and len(confident_idx) top_n: sorted_idx confident_idx[torch.argsort(max_probs[confident_idx], descendingTrue)] confident_idx sorted_idx[:top_n] return confident_idx.tolist(), preds[confident_idx].tolist() def extend_train_set(original_df, unlabeled_df, pseudo_idx, pseudo_labels): 将筛选出的伪标注样本合并到训练集中。 selected_df unlabeled_df.iloc[pseudo_idx].copy() selected_df[label] pseudo_labels new_train_df pd.concat([original_df, selected_df], ignore_indexTrue) return new_train_df这段代码的思路是先得到模型对无标注数据的预测概率再按置信度阈值筛选。为了防止某类样本过多可以按类别分别选取 Top N这个在真实场景中很重要。4.5 训练循环与剪枝流程整合有了上面几个模块我们可以把它们编排成完整的实验脚本了。下面的代码是按流程组织起来的“骨架”它会依次执行加载数据。初始化模型与分词器。先做短期的 Warmup 训练用于寻找 Lottery Ticket Mask。保存初始权重。计算 Mask应用 MaskRewind 权重。进入 iPET 迭代每轮训练、伪标注、扩增。# 文件路径src/train.py import pandas as pd import torch from torch.utils.data import DataLoader from transformers import AutoTokenizer, BertForSequenceClassification from data_utils import load_data, BengaliTextDataset from lth import LotteryTicketPruner from ipet import predict_proba, filter_pseudo_labels, extend_train_set # 超参数 MODEL_NAME csebuetnlp/banglabert NUM_LABELS 2 BATCH_SIZE 16 MAX_LEN 128 LR 2e-5 EPOCHS_WARMUP 5 # 用于寻找 Mask 的 Warmup 轮数 EPOCHS_IPET 20 # iPET 每轮正式训练轮数 SPARSITY_RATIO 0.7 # 剪枝比例 CONFIDENCE_THRESHOLD 0.8 # 伪标签置信度阈值 IPET_ROUNDS 3 # iPET 迭代轮数 DEVICE torch.device(cuda if torch.cuda.is_available() else cpu) # 1. 加载数据 train_df pd.read_csv(data/train.csv) unlabeled_df pd.read_csv(data/unlabeled.csv) test_df pd.read_csv(data/test.csv) tokenizer AutoTokenizer.from_pretrained(MODEL_NAME) model BertForSequenceClassification.from_pretrained(MODEL_NAME, num_labelsNUM_LABELS).to(DEVICE) # 2. 初始化工具 pruner LotteryTicketPruner(model) optimizer torch.optim.AdamW(model.parameters(), lrLR) loss_fn torch.nn.CrossEntropyLoss() def train_one_epoch(model, dataloader, optimizer, loss_fn, device): model.train() total_loss 0 for batch in dataloader: input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) labels batch[labels].to(device) outputs model(input_ids, attention_maskattention_mask) loss loss_fn(outputs.logits, labels) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(dataloader) # 3. Warmup 训练用少量原始标注数据 train_dataset load_data(data/train.csv, tokenizer, MAX_LEN) train_loader DataLoader(train_dataset, batch_sizeBATCH_SIZE, shuffleTrue) for epoch in range(EPOCHS_WARMUP): loss train_one_epoch(model, train_loader, optimizer, loss_fn, DEVICE) print(fWarmup Epoch {epoch1}/{EPOCHS_WARMUP}, Loss: {loss:.4f}) # 4. 保存初始权重计算 Mask应用 Mask 并 Rewind pruner.save_init_weights() pruner.compute_mask(sparsity_ratioSPARSITY_RATIO) pruner.apply_mask() pruner.rewind_weights() print(f当前稀疏度: {SPARSITY_RATIO * 100:.1f}% 参数被置零) # 5. iPET 迭代 current_train_df train_df.copy() for rnd in range(IPET_ROUNDS): print(f iPET Round {rnd 1} ) # 从当前训练集构建 DataLoader current_dataset BengaliTextDataset(current_train_df, tokenizer, MAX_LEN) current_loader DataLoader(current_dataset, batch_sizeBATCH_SIZE, shuffleTrue) # 训练模型 for epoch in range(EPOCHS_IPET): loss train_one_epoch(model, current_loader, optimizer, loss_fn, DEVICE) print(fEpoch {epoch1}/{EPOCHS_IPET}, Loss: {loss:.4f}) # 对无标注数据预测 unlabeled_dataset BengaliTextDataset(unlabeled_df, tokenizer, MAX_LEN) unlabeled_loader DataLoader(unlabeled_dataset, batch_sizeBATCH_SIZE, shuffleFalse) probs predict_proba(model, unlabeled_loader, DEVICE) # 筛选伪标签 pseudo_idx, pseudo_labels filter_pseudo_labels( probs, confidence_thresholdCONFIDENCE_THRESHOLD, top_n200 ) if len(pseudo_idx) 0: print(没有足够置信的伪标签样本提前停止。) break # 扩增训练集 current_train_df extend_train_set( current_train_df, unlabeled_df, pseudo_idx, pseudo_labels ) print(f当前训练集大小: {len(current_train_df)}) # 6. 在测试集上评估 test_dataset BengaliTextDataset(test_df, tokenizer, MAX_LEN) test_loader DataLoader(test_dataset, batch_sizeBATCH_SIZE, shuffleFalse) model.eval() correct 0 total 0 with torch.no_grad(): for batch in test_loader: input_ids batch[input_ids].to(DEVICE) attention_mask batch[attention_mask].to(DEVICE) labels batch[labels].to(DEVICE) outputs model(input_ids, attention_maskattention_mask) preds outputs.logits.argmax(dim-1) correct (preds labels).sum().item() total labels.size(0) print(fTest Accuracy: {correct / total:.4f})以上代码是核心流程演示。这里有一个需要注意的地方在每一轮 iPET 训练中我们使用的是同一个optimizer。由于模型经过了剪枝与 Rewinding最好在 Rewind 之后重建优化器否则 Adam 状态里还残留着 Warmup 阶段的信息会影响收敛。你可以根据实际场景调整的地方包括EPOCHS_WARMUP 太少会导致 Mask 不可靠太多又可能在少量数据上过拟合。SPARSITY_RATIO 可以先从 0.5 开始试逐步往上调。CONFIDENCE_THRESHOLD 建议先观察预测概率分布后确定不要盲目设置。4.6 完整训练流程的 ASCII 图为了方便理解整个流程我用一段简单的 ASCII 图来表示原始标注数据 (少量) | v Warmup 训练模型 | v 计算 Lottery Ticket Mask | v 权重 Rewind 到初始状态 | v 应用 Mask - 稀疏模型 | v iPET Round 1: 训练稀疏模型 - 伪标注 置信筛选 - 训练集扩增 | v iPET Round 2: 训练稀疏模型 - 伪标注 置信筛选 - 训练集扩增 | v iPET Round 3: ... | v 测试集评估5. 实验观察与结果分析思路这一节我提供一个分析实验结果的框架。由于不同数据集、不同预训练模型、不同 Few-Shot 样本量都会带来结果差异这里不给具体数值而是给出观察结论的判断标准。5.1 稀疏度与模型性能的关系当我们逐步提高剪枝比例时通常会看到以下现象稀疏度参数量预期表现分析思路0%稠密基线100%在少量数据上容易过拟合作为对照实验30%-50%50%-70%性能可能保持或略降稀疏化相当于正则化70%-90%10%-30%性能下降开始明显关键结构可能被剪掉95%以上5%以下性能大幅下降过度剪枝信息丢失严重在 Few-Shot 场景下适度稀疏比如 50%-70%有时反而能提升测试集表现这是因为少量参数更不容易过拟合。5.2 iPET 迭代轮数的影响iPET 并非越多轮越好。随着迭代进行训练集会越来越大模型可获得更多监督信号。但如果伪标签错误率较高错误信号也会被放大。建议在每一轮迭代后都在验证集上评估一次。如果连续两轮准确率没有明显提升就停止迭代避免引入噪声数据。5.3 与全参数微调的对比在复现实验时至少要跑两个对照对照 A直接全参数微调 BnBERT不使用剪枝不使用 iPET。对照 BBnBERT Lottery Ticket Pruning不使用 iPET。主实验BnBERT Lottery Ticket Pruning iPET。这样你就能判断性能和成本提升分别来自稀疏化还是 iPET 扩增便于后续优化。6. 常见问题与排查思路6.1 常见问题速查表问题现象常见原因解决思路训练 Loss 不下降学习率过大或过小数据长度截断严重检查学习率检查 tokenizer 输出长度Mask 应用后模型输出异常Mask 与参数形状不匹配检查named_parameters()是否包含不需要剪枝的层伪标注样本全部被过滤置信度阈值设置过高模型欠拟合降低阈值增加 Warmup 轮数显存不足批次过大序列过长减小BATCH_SIZE或MAX_LENiPET 扩增后效果变差伪标签噪声大类别不平衡按类别筛选 Top N提高置信度阈值Rewind 后训练不收敛优化器状态未重置在 Rewind 后重新创建优化器6.2 案例Rewind 之后 Loss 震荡怎么办如果你发现应用 Mask 并 Rewind 后Loss 在训练初期震荡非常严重优先检查以下几点是否在 Rewind 后重建了优化器。学习率是否需要下调。稀疏网络的可训练参数少学习率通常要比稠密网络小一些。剪枝比例是否过高。如果剪掉比例超过 90%保留的连接可能不足以支撑有效学习。实践中一个可行的做法是Rewind 后前两个 Epoch 使用较小的学习率比如 1e-5做 warmup再恢复到正常学习率。6.3 案例伪标签噪声过大的规避方法iPET 的伪标签本质上是有噪声的。如果无标注数据与训练数据分布差异很大早期模型的预测会非常不可靠。可以这样做只选取置信度超过 0.9 的样本。对每个类别设置最大扩增数量上限。在扩增完成后随机抽样人工检查一部分伪标注估算噪声比例。更稳健的方法是训练多个模型做投票只保留多个模型预测一致的样本。7. 工程实践建议7.1 数据与标注策略在医疗、金融、法律等高风险场景中伪标注数据不能直接用于最终决策。建议将伪标注数据单独隔离定期抽样人工复核。如果你是从零开始做孟加拉语 NLP 项目可以优先在社交媒体文本、新闻语料等领域积累无标注数据这些数据获取成本低适合作为 iPET 的伪标注池。7.2 稀疏训练注意事项Lottery Ticket Pruning 在实现时要注意以下工程细节不要剪 Embedding 层。BERT 的 Token Embedding 与词表强相关剪掉这些连接会直接影响模型对输入表示的能力。你可以只在注意力层和 FFN 层做剪枝。保留 LayerNorm 层。LayerNorm 的参数非常少但作用关键不适合剪枝。保存 Mask 文件。训练结束后不仅保存模型权重也要保存 Mask。推理时加载同样结构的稀疏模型否则无法复现效果。关注推理性能。如果你使用 PyTorch 稀疏张量或实际置零权重要注意推理框架是否真正获得了加速。某些情况下置零权重并不会减少计算量还需要配合剪枝库或推理框架。7.3 可复现性与实验管理Few-Shot 实验对随机种子非常敏感。每次运行前固定random.seed、numpy.random.seed、torch.manual_seed并在代码中保存最终的配置文件。import random import numpy as np import torch def set_seed(seed: int 42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True7.4 部署与上线建议稀疏模型在部署时需要检查推理框架对稀疏矩阵的支持程度。常见的做法有将置零权重保存为稀疏矩阵格式。使用 ONNX Runtime 的稀疏推理能力。或者结合蒸馏把稀疏模型的知识蒸馏到一个更小的稠密模型中。无论采用哪种方式都要在测试集上重新评估剪枝后的模型效果不能只看训练集表现。8. 总结与下一步规划本文围绕 BnBERT-iPET 这个主题介绍了如何在孟加拉语低资源场景下将 Lottery Ticket Pruning 与 iPET 迭代式伪标注相结合。实践中你至少可以掌握以下关键点使用 Hugging Face Transformers 加载孟加拉语 BERT 模型。通过幅度剪枝生成二值 Mask实现 Lottery Ticket 风格的稀疏训练。通过置信度过滤和无标注数据扩增实现 iPET 的迭代训练流程。建立“稠密基线 vs 稀疏模型 vs 稀疏 iPET”的对照实验框架。学会处理 Rewinding 不收敛、伪标签噪声、显存不足等实际问题。下一步你可以继续深入研究的方向包括用集成模型替代单模型提高伪标签质量。尝试不同剪枝准则例如基于梯度、基于 Hessian替代幅度剪枝。在相同稀疏度下对比 Lottery Ticket 与随机 Mask 的差异。尝试把稀疏化与 Prompt Tuning、Adapter 等参数高效微调方法结合。在实际项目中优先关注的是伪标签噪声和数据分布偏移。只要这两个问题控制好Few-Shot 稀疏化方案完全可以在资源有限、标注不足的环境里跑出可用的模型。也建议你把实验记录整理下来方便后续复现和调优。如果本文对你有帮助欢迎收藏备用也可以在评论区聊聊你的 Few-Shot 实践经验。