mistral.rs 中 AnyMoE 配置详解AnyMoeConfig与AnyMoeExpertType参考指南【免费下载链接】mistral.rsFast, flexible LLM inference项目地址: https://gitcode.com/GitHub_Trending/mi/mistral.rsAnyMoE 是 mistral.rs 提供的一种通用专家混合Mixture of Experts实现它允许用户在任意基础模型之上通过训练一个轻量门控gating层将多个微调模型或 LoRA 适配器作为专家按层per-layer动态路由从而实现模型的混合集成。本指南以 Python SDK 中 AnyMoE 参考文档 为骨架完整解析AnyMoeConfig与AnyMoeExpertType的全部字段、默认值与运行语义并结合仓库中的可运行示例examples/python/anymoe.py、examples/python/anymoe_inference.py、examples/python/anymoe_lora.py与 Rust 侧源码实现帮助你快速上手 AnyMoE 的训练与推理。AnyMoE 的工作机制概览在阅读配置 API 之前先理解 AnyMoE 在 mistral.rs 中的定位。从 Rust 侧实现 可以看到AnyMoeModelBuilder支持两种基座基于普通文本模型TextModelBuilder即 HF 格式 safetensors 模型基于 GGUF 模型GgufModelBuilder。构建时AnyMoE 会以基座模型为主体按layers指定的层列表将每一层的 MLP 前馈网络替换为多个专家模型的混合输出并由一个门控网络gating network学习如何为不同输入分配专家权重。AnyMoeLoader负责在加载时把专家模型的权重按prefix/mlp定位并注入对应层。Python 侧的Runner通过anymoe_configAnyMoeConfig(...)参数把整套配置传入加载管线最终得到一个可直接参与send_chat_completion_request的普通Runner实例。AnyMoeExpertType专家类型AnyMoeExpertType定义了 AnyMoE 模型中专家expert的表示方式共有两种取值对应mistralrs-pyo3/src/anymoe.rs中AnyMoeExpertType枚举的两个变体AnyMoeExpertType.FineTuned()专家是完整的微调模型safetensors 格式即一个与基座同架构的完整模型权重。AnyMoeExpertType.LoraAdapter(rank: int, alpha: float, target_modules: list[str])专家是 LoRA 适配器只包含低秩增量加载成本远低于完整微调模型。AnyMoeExpertType.FineTuned无字段直接以AnyMoeExpertType.FineTuned()构造。此时model_ids中的每一项都应指向一个完整的微调模型本地路径或 HF 模型 ID例如示例中的HuggingFaceH4/zephyr-7b-beta。AnyMoeExpertType.LoraAdapter当专家为 LoRA 适配器时需要提供以下字段字段类型说明rankintLoRA 低秩矩阵的秩决定适配器参数量。示例中使用64。alphafloatLoRA 缩放系数scaling factor实际缩放为alpha / rank。示例中使用16.0。target_moduleslist[str]应用 LoRA 的模块名列表例如[gate_proj]表示只对门控投影层做适配。在 Python 中两种专家类型的使用差异可直接对比示例anymoe.py使用AnyMoeExpertType.FineTuned()配合完整模型 IDanymoe_lora.py使用AnyMoeExpertType.LoraAdapter(rank64, alpha16.0, target_modules[gate_proj])配合 LoRA 模型 IDtypeof/zephyr-7b-beta-lora。AnyMoeConfig完整的构造签名与默认值AnyMoeConfig是 AnyMoE 的核心配置对象其 Python 构造签名与 pyi 类型声明 和 Rust 绑定源码 一致如下__init__( hidden_size: int, dataset_json: str, prefix: str, mlp: str, model_ids: list[str], expert_type: AnyMoeExpertType, layers: list[int] [], lr: float 0.001, epochs: int 100, batch_size: int 4, gate_model_id: str | None None, training: bool True, loss_csv_path: str | None None, ) - None前六个参数为必填其余参数均有默认值。下面是每个字段的详细说明。必填参数参数类型含义hidden_sizeint基座模型的隐藏层维度用于确定门控网络的输入尺寸。dataset_jsonstr训练数据集 JSON 文件路径用于训练门控层。prefixstr层权重名的统一前缀例如model.layers。mlpstrMLP 子模块在层内的名称例如mlp。model_idslist[str]专家模型 ID 列表本地路径或 HF 模型 ID按列表顺序对应专家索引。expert_typeAnyMoeExpertType专家类型FineTuned或LoraAdapter。可选参数与默认值参数默认值含义layers[]需要替换为混合专家机制的层索引列表。空列表时由加载逻辑按全部层处理示例中显式指定[0, 1, 2, ..., 15]覆盖前 16 层。lr0.001门控网络训练的学习率。示例中使用1e-3。epochs100门控网络训练轮数。batch_size4训练批次大小。gate_model_idNone门控模型 ID。见下文训练模式与推理模式。trainingTrue是否处于训练模式。loss_csv_pathNone损失曲线 CSV 输出路径。注意其生效条件与training相关见下文。这些默认值在 Rust 绑定源码 的#[pyo3(signature (...))]声明中逐一对应可放心作为 API 契约使用。如何确定prefix、mlp与hidden_sizeAnyMoeConfig中prefix与mlp必须与模型的真实权重命名匹配否则无法定位 MLP 层。参考文档给出的方法是打开https://huggingface.co/MODEL ID/tree/main?show_file_infomodel.safetensors.index.json查看权重索引中的 MLP 层名例如看到model.layers.27.mlp.down_proj.weight则前缀为model.layersMLP 子模块名为mlphidden_size则从https://huggingface.co/BASE MODEL ID/blob/main/config.json中查询如 Mistral-7B 为4096。一个典型组合是prefixmodel.layers、mlpmlp、hidden_size4096对应mistralai/Mistral-7B-Instruct-v0.1基座这正是仓库所有 AnyMoE 示例使用的取值。训练模式与推理模式training与gate_model_id的联动AnyMoeConfig最容易被忽略的是training、gate_model_id、loss_csv_path三者之间的联动语义参考文档明确给出了两条规则gate_model_id指定门控模型 ID当training True时训练得到的门控层 safetensors 会被写入gate_model_id指定的位置当training False时会从gate_model_id加载预训练好的门控权重不再进行训练。loss_csv_path的生效条件training True时loss_csv_path不生效不输出损失training False时损失 CSV 文件会被保存到该路径。两个可运行示例恰好展示了两种用法examples/python/anymoe.py不传gate_model_idtraining保持默认True即从零训练门控层examples/python/anymoe_inference.py传入gate_model_idpath/to/pretrained/gating_model_id用于加载预训练门控层做纯推理示例注释也提示对于推理使用预训练门控层参见 anymoe_inference.py。训练数据集格式dataset_jsondataset_json指向的训练数据是门控层的监督信号格式为一个包含rows数组的 JSON 文件。仓库中的examples/amoe.json是标准样例每个条目包含两个字段{ rows: [ { prompt: Discuss the impact of Renaissance art on modern aesthetics, expert: 0 }, { prompt: Explain the significance of the theory of relativity in modern physics, expert: 1 } ] }prompt输入文本expert该样本应路由到的专家索引从 0 开始对应model_ids列表中的顺序。通过这类输入-期望专家配对样本门控网络学会对不同的查询内容选择最合适的专家模型。端到端实战训练门控层并完成对话结合前面的 API 说明一个完整的 AnyMoE 训练 对话流程如下完整可运行版本见 examples/python/anymoe.pyfrom mistralrs import ( Runner, Which, ChatCompletionRequest, Architecture, AnyMoeConfig, AnyMoeExpertType, ) runner Runner( whichWhich.Plain( model_idmistralai/Mistral-7B-Instruct-v0.1, archArchitecture.Mistral, ), anymoe_configAnyMoeConfig( hidden_size4096, dataset_jsonexamples/amoe.json, prefixmodel.layers, mlpmlp, expert_typeAnyMoeExpertType.FineTuned(), lr1e-3, epochs100, batch_size4, model_ids[HuggingFaceH4/zephyr-7b-beta], layers[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15], loss_csv_pathloss.csv, ), ) res runner.send_chat_completion_request( ChatCompletionRequest( modeldefault, messages[ {role: user, content: Tell me a story about the Rust type system.} ], max_tokens256, presence_penalty1.0, top_p0.1, temperature0.1, ) ) print(res.choices[0].message.content) print(res.usage)要点解读Which.Plain指定基座模型与架构anymoe_config挂载 AnyMoE 配置model_ids中的HuggingFaceH4/zephyr-7b-beta作为专家模型与基座Mistral-7B-Instruct的 MLP 层按layers列表逐层混合训练完成后Runner即可像普通模型一样接收对话请求门控层会在推理时自动为输入选择专家。若专家是 LoRA 适配器仅需把expert_type换成AnyMoeExpertType.LoraAdapter(rank64, alpha16.0, target_modules[gate_proj])并把model_ids指向 LoRA 模型见 examples/python/anymoe_lora.py。若已训练好门控层则设置gate_model_id并保持trainingFalse见 examples/python/anymoe_inference.py。与 CLI / TOML 配置的对应关系除 Python SDK 外AnyMoE 同样可通过 CLI 的 TOML 选择器配置字段与AnyMoeConfig一一对应toml-selectors/anymoe.toml微调专家 训练门控[model] kind plain model_id mistralai/Mistral-7B-Instruct-v0.1 arch mistral [anymoe] dataset_json examples/amoe.json prefix model.layers mlp mlp model_ids [HuggingFaceH4/zephyr-7b-beta] layers [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15] [anymoe.config] hidden_size 4096 epochs 25 expert_type fine_tuned gate_model_id saved_gate loss_csv_path loss.csvtoml-selectors/anymoe_lora.tomlLoRA 专家expert_type使用嵌套表描述[model] kind plain model_id mistralai/Mistral-7B-Instruct-v0.1 arch mistral [anymoe] dataset_json examples/amoe.json prefix model.layers mlp mlp model_ids [typeof/zephyr-7b-beta-lora] [anymoe.config] hidden_size 4096 epochs 25 gate_model_id saved_gate loss_csv_path loss.csv [anymoe.config.expert_type.lora_adapter] rank 64 alpha 16 target_modules [gate_proj]注意 TOML 示例中epochs 25、gate_model_id saved_gate是 CLI 场景的常用取值Python 侧epochs默认 100gate_model_id默认None请按实际需求显式设置。参数速查表参数类型默认值关键说明hidden_sizeint必填基座隐藏维度门控网络输入尺寸dataset_jsonstr必填门控训练数据rows数组含prompt/expertprefixstr必填层权重前缀如model.layersmlpstr必填MLP 子模块名如mlpmodel_idslist[str]必填专家模型 ID顺序对应专家索引expert_typeAnyMoeExpertType必填FineTuned()或LoraAdapter(rank, alpha, target_modules)layerslist[int][]启用混合的层索引lrfloat0.001门控训练学习率epochsint100训练轮数batch_sizeint4训练批次大小gate_model_idstr \| NoneNone训练时写入门控权重推理时加载预训练门控trainingboolTrueFalse时从gate_model_id加载且不训练loss_csv_pathstr \| NoneNone仅training False时保存损失 CSV源码级佐证参数从 Python 到 Rust 的传递链路AnyMoeConfig并非 Python 侧独立实现而是与 Rust 核心严格对应的薄封装。在 mistralrs-pyo3/src/anymoe.rs 中AnyMoeExpertType通过FromAnyMoeExpertType for mistralrs_core::AnyMoeExpertType将 Python 枚举直接转换为核心枚举AnyMoeConfig的#[new]构造器使用#[pyo3(signature (...))]声明与文档一致的默认值layers vec![]、lr 1e-3、epochs 100、batch_size 4、gate_model_id None、training true、loss_csv_path None字段类型也一一对应hidden_size: usize、lr: f64、layers: Vecusize、model_ids: VecString等。加载时mistralrs/src/anymoe.rs 的AnyMoeModelBuilder会把配置包装进AnyMoeLoaderprefix、mlp、path、model_ids、layers一并传入随后基于文本加载器或 GGUF 加载器构建完整管线最终返回可直接使用的Model。这也解释了为什么model_ids可以是本地路径——加载逻辑统一走 mistralrs 的标准模型解析流程。总结AnyMoeConfig与AnyMoeExpertType构成了 mistral.rs Python SDK 中 AnyMoE 功能的全部配置入口前者通过 13 个字段覆盖隐藏维度、数据、层定位、训练超参与门控模型管理后者以FineTuned/LoraAdapter两种形式定义专家形态。理解training与gate_model_id的联动关系是区分训练门控与加载预训练门控做推理两种用法的关键。如需进一步探索可查阅 AnyMoE 参考文档 以及仓库中对应的 Rust 示例 与 LoRA 示例。【免费下载链接】mistral.rsFast, flexible LLM inference项目地址: https://gitcode.com/GitHub_Trending/mi/mistral.rs创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 mistral.rs 中 AnyMoE 配置详解：`AnyMoeConfig` 与 `AnyMoeExpertType` 参考指南
mistral.rs 中 AnyMoE 配置详解AnyMoeConfig与AnyMoeExpertType参考指南【免费下载链接】mistral.rsFast, flexible LLM inference项目地址: https://gitcode.com/GitHub_Trending/mi/mistral.rsAnyMoE 是 mistral.rs 提供的一种通用专家混合Mixture of Experts实现它允许用户在任意基础模型之上通过训练一个轻量门控gating层将多个微调模型或 LoRA 适配器作为专家按层per-layer动态路由从而实现模型的混合集成。本指南以 Python SDK 中 AnyMoE 参考文档 为骨架完整解析AnyMoeConfig与AnyMoeExpertType的全部字段、默认值与运行语义并结合仓库中的可运行示例examples/python/anymoe.py、examples/python/anymoe_inference.py、examples/python/anymoe_lora.py与 Rust 侧源码实现帮助你快速上手 AnyMoE 的训练与推理。AnyMoE 的工作机制概览在阅读配置 API 之前先理解 AnyMoE 在 mistral.rs 中的定位。从 Rust 侧实现 可以看到AnyMoeModelBuilder支持两种基座基于普通文本模型TextModelBuilder即 HF 格式 safetensors 模型基于 GGUF 模型GgufModelBuilder。构建时AnyMoE 会以基座模型为主体按layers指定的层列表将每一层的 MLP 前馈网络替换为多个专家模型的混合输出并由一个门控网络gating network学习如何为不同输入分配专家权重。AnyMoeLoader负责在加载时把专家模型的权重按prefix/mlp定位并注入对应层。Python 侧的Runner通过anymoe_configAnyMoeConfig(...)参数把整套配置传入加载管线最终得到一个可直接参与send_chat_completion_request的普通Runner实例。AnyMoeExpertType专家类型AnyMoeExpertType定义了 AnyMoE 模型中专家expert的表示方式共有两种取值对应mistralrs-pyo3/src/anymoe.rs中AnyMoeExpertType枚举的两个变体AnyMoeExpertType.FineTuned()专家是完整的微调模型safetensors 格式即一个与基座同架构的完整模型权重。AnyMoeExpertType.LoraAdapter(rank: int, alpha: float, target_modules: list[str])专家是 LoRA 适配器只包含低秩增量加载成本远低于完整微调模型。AnyMoeExpertType.FineTuned无字段直接以AnyMoeExpertType.FineTuned()构造。此时model_ids中的每一项都应指向一个完整的微调模型本地路径或 HF 模型 ID例如示例中的HuggingFaceH4/zephyr-7b-beta。AnyMoeExpertType.LoraAdapter当专家为 LoRA 适配器时需要提供以下字段字段类型说明rankintLoRA 低秩矩阵的秩决定适配器参数量。示例中使用64。alphafloatLoRA 缩放系数scaling factor实际缩放为alpha / rank。示例中使用16.0。target_moduleslist[str]应用 LoRA 的模块名列表例如[gate_proj]表示只对门控投影层做适配。在 Python 中两种专家类型的使用差异可直接对比示例anymoe.py使用AnyMoeExpertType.FineTuned()配合完整模型 IDanymoe_lora.py使用AnyMoeExpertType.LoraAdapter(rank64, alpha16.0, target_modules[gate_proj])配合 LoRA 模型 IDtypeof/zephyr-7b-beta-lora。AnyMoeConfig完整的构造签名与默认值AnyMoeConfig是 AnyMoE 的核心配置对象其 Python 构造签名与 pyi 类型声明 和 Rust 绑定源码 一致如下__init__( hidden_size: int, dataset_json: str, prefix: str, mlp: str, model_ids: list[str], expert_type: AnyMoeExpertType, layers: list[int] [], lr: float 0.001, epochs: int 100, batch_size: int 4, gate_model_id: str | None None, training: bool True, loss_csv_path: str | None None, ) - None前六个参数为必填其余参数均有默认值。下面是每个字段的详细说明。必填参数参数类型含义hidden_sizeint基座模型的隐藏层维度用于确定门控网络的输入尺寸。dataset_jsonstr训练数据集 JSON 文件路径用于训练门控层。prefixstr层权重名的统一前缀例如model.layers。mlpstrMLP 子模块在层内的名称例如mlp。model_idslist[str]专家模型 ID 列表本地路径或 HF 模型 ID按列表顺序对应专家索引。expert_typeAnyMoeExpertType专家类型FineTuned或LoraAdapter。可选参数与默认值参数默认值含义layers[]需要替换为混合专家机制的层索引列表。空列表时由加载逻辑按全部层处理示例中显式指定[0, 1, 2, ..., 15]覆盖前 16 层。lr0.001门控网络训练的学习率。示例中使用1e-3。epochs100门控网络训练轮数。batch_size4训练批次大小。gate_model_idNone门控模型 ID。见下文训练模式与推理模式。trainingTrue是否处于训练模式。loss_csv_pathNone损失曲线 CSV 输出路径。注意其生效条件与training相关见下文。这些默认值在 Rust 绑定源码 的#[pyo3(signature (...))]声明中逐一对应可放心作为 API 契约使用。如何确定prefix、mlp与hidden_sizeAnyMoeConfig中prefix与mlp必须与模型的真实权重命名匹配否则无法定位 MLP 层。参考文档给出的方法是打开https://huggingface.co/MODEL ID/tree/main?show_file_infomodel.safetensors.index.json查看权重索引中的 MLP 层名例如看到model.layers.27.mlp.down_proj.weight则前缀为model.layersMLP 子模块名为mlphidden_size则从https://huggingface.co/BASE MODEL ID/blob/main/config.json中查询如 Mistral-7B 为4096。一个典型组合是prefixmodel.layers、mlpmlp、hidden_size4096对应mistralai/Mistral-7B-Instruct-v0.1基座这正是仓库所有 AnyMoE 示例使用的取值。训练模式与推理模式training与gate_model_id的联动AnyMoeConfig最容易被忽略的是training、gate_model_id、loss_csv_path三者之间的联动语义参考文档明确给出了两条规则gate_model_id指定门控模型 ID当training True时训练得到的门控层 safetensors 会被写入gate_model_id指定的位置当training False时会从gate_model_id加载预训练好的门控权重不再进行训练。loss_csv_path的生效条件training True时loss_csv_path不生效不输出损失training False时损失 CSV 文件会被保存到该路径。两个可运行示例恰好展示了两种用法examples/python/anymoe.py不传gate_model_idtraining保持默认True即从零训练门控层examples/python/anymoe_inference.py传入gate_model_idpath/to/pretrained/gating_model_id用于加载预训练门控层做纯推理示例注释也提示对于推理使用预训练门控层参见 anymoe_inference.py。训练数据集格式dataset_jsondataset_json指向的训练数据是门控层的监督信号格式为一个包含rows数组的 JSON 文件。仓库中的examples/amoe.json是标准样例每个条目包含两个字段{ rows: [ { prompt: Discuss the impact of Renaissance art on modern aesthetics, expert: 0 }, { prompt: Explain the significance of the theory of relativity in modern physics, expert: 1 } ] }prompt输入文本expert该样本应路由到的专家索引从 0 开始对应model_ids列表中的顺序。通过这类输入-期望专家配对样本门控网络学会对不同的查询内容选择最合适的专家模型。端到端实战训练门控层并完成对话结合前面的 API 说明一个完整的 AnyMoE 训练 对话流程如下完整可运行版本见 examples/python/anymoe.pyfrom mistralrs import ( Runner, Which, ChatCompletionRequest, Architecture, AnyMoeConfig, AnyMoeExpertType, ) runner Runner( whichWhich.Plain( model_idmistralai/Mistral-7B-Instruct-v0.1, archArchitecture.Mistral, ), anymoe_configAnyMoeConfig( hidden_size4096, dataset_jsonexamples/amoe.json, prefixmodel.layers, mlpmlp, expert_typeAnyMoeExpertType.FineTuned(), lr1e-3, epochs100, batch_size4, model_ids[HuggingFaceH4/zephyr-7b-beta], layers[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15], loss_csv_pathloss.csv, ), ) res runner.send_chat_completion_request( ChatCompletionRequest( modeldefault, messages[ {role: user, content: Tell me a story about the Rust type system.} ], max_tokens256, presence_penalty1.0, top_p0.1, temperature0.1, ) ) print(res.choices[0].message.content) print(res.usage)要点解读Which.Plain指定基座模型与架构anymoe_config挂载 AnyMoE 配置model_ids中的HuggingFaceH4/zephyr-7b-beta作为专家模型与基座Mistral-7B-Instruct的 MLP 层按layers列表逐层混合训练完成后Runner即可像普通模型一样接收对话请求门控层会在推理时自动为输入选择专家。若专家是 LoRA 适配器仅需把expert_type换成AnyMoeExpertType.LoraAdapter(rank64, alpha16.0, target_modules[gate_proj])并把model_ids指向 LoRA 模型见 examples/python/anymoe_lora.py。若已训练好门控层则设置gate_model_id并保持trainingFalse见 examples/python/anymoe_inference.py。与 CLI / TOML 配置的对应关系除 Python SDK 外AnyMoE 同样可通过 CLI 的 TOML 选择器配置字段与AnyMoeConfig一一对应toml-selectors/anymoe.toml微调专家 训练门控[model] kind plain model_id mistralai/Mistral-7B-Instruct-v0.1 arch mistral [anymoe] dataset_json examples/amoe.json prefix model.layers mlp mlp model_ids [HuggingFaceH4/zephyr-7b-beta] layers [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15] [anymoe.config] hidden_size 4096 epochs 25 expert_type fine_tuned gate_model_id saved_gate loss_csv_path loss.csvtoml-selectors/anymoe_lora.tomlLoRA 专家expert_type使用嵌套表描述[model] kind plain model_id mistralai/Mistral-7B-Instruct-v0.1 arch mistral [anymoe] dataset_json examples/amoe.json prefix model.layers mlp mlp model_ids [typeof/zephyr-7b-beta-lora] [anymoe.config] hidden_size 4096 epochs 25 gate_model_id saved_gate loss_csv_path loss.csv [anymoe.config.expert_type.lora_adapter] rank 64 alpha 16 target_modules [gate_proj]注意 TOML 示例中epochs 25、gate_model_id saved_gate是 CLI 场景的常用取值Python 侧epochs默认 100gate_model_id默认None请按实际需求显式设置。参数速查表参数类型默认值关键说明hidden_sizeint必填基座隐藏维度门控网络输入尺寸dataset_jsonstr必填门控训练数据rows数组含prompt/expertprefixstr必填层权重前缀如model.layersmlpstr必填MLP 子模块名如mlpmodel_idslist[str]必填专家模型 ID顺序对应专家索引expert_typeAnyMoeExpertType必填FineTuned()或LoraAdapter(rank, alpha, target_modules)layerslist[int][]启用混合的层索引lrfloat0.001门控训练学习率epochsint100训练轮数batch_sizeint4训练批次大小gate_model_idstr \| NoneNone训练时写入门控权重推理时加载预训练门控trainingboolTrueFalse时从gate_model_id加载且不训练loss_csv_pathstr \| NoneNone仅training False时保存损失 CSV源码级佐证参数从 Python 到 Rust 的传递链路AnyMoeConfig并非 Python 侧独立实现而是与 Rust 核心严格对应的薄封装。在 mistralrs-pyo3/src/anymoe.rs 中AnyMoeExpertType通过FromAnyMoeExpertType for mistralrs_core::AnyMoeExpertType将 Python 枚举直接转换为核心枚举AnyMoeConfig的#[new]构造器使用#[pyo3(signature (...))]声明与文档一致的默认值layers vec![]、lr 1e-3、epochs 100、batch_size 4、gate_model_id None、training true、loss_csv_path None字段类型也一一对应hidden_size: usize、lr: f64、layers: Vecusize、model_ids: VecString等。加载时mistralrs/src/anymoe.rs 的AnyMoeModelBuilder会把配置包装进AnyMoeLoaderprefix、mlp、path、model_ids、layers一并传入随后基于文本加载器或 GGUF 加载器构建完整管线最终返回可直接使用的Model。这也解释了为什么model_ids可以是本地路径——加载逻辑统一走 mistralrs 的标准模型解析流程。总结AnyMoeConfig与AnyMoeExpertType构成了 mistral.rs Python SDK 中 AnyMoE 功能的全部配置入口前者通过 13 个字段覆盖隐藏维度、数据、层定位、训练超参与门控模型管理后者以FineTuned/LoraAdapter两种形式定义专家形态。理解training与gate_model_id的联动关系是区分训练门控与加载预训练门控做推理两种用法的关键。如需进一步探索可查阅 AnyMoE 参考文档 以及仓库中对应的 Rust 示例 与 LoRA 示例。【免费下载链接】mistral.rsFast, flexible LLM inference项目地址: https://gitcode.com/GitHub_Trending/mi/mistral.rs创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考