一、背景0.6B 模型真的“不会思考”吗很多人觉得只有百亿、千亿参数的大模型才配谈“深度思考”。本地小模型呢生成快、跑得动但遇到稍微绕一点的提问经常答得又短又直——不是它不想而是训练时根本没被引导过“先想后答”。小思框架Xiaothink最近发布了Xiaothink-T17-RWKV5-MLA-Instruct-Pro≈0.6B 参数配合 xiaothink 库v1.5.0的深度思考Deep Think能力让 0.6B 的小模型也能“先想再答”。这篇文章就带大家上手模型怎么装、深度思考怎么开、两个模式怎么切换。二、先认识这个模型T17-RWKV5-MLA-Instruct-Pro 是基于 t17_rwkv5_mla_instruct_frontend 继续微调的指令模型核心参数如下参数值说明参数量≈0.6B613.9M端侧可部署d_model1400嵌入维度num_heads / num_layers4 / 16多头注意力头数 / 层数history_top_k6历史检索 top-ksave_every16历史快照保存间隔步max_seq_len51200最大序列长度max_cut2400推理输入最大截断长度词表大小52,894中文词表架构上依然是自研的RWKV-v5 MLADeepSeek V3 风格低秩压缩注意力纯历史检索架构RWKV 负责当前信息建模MLA 负责长程历史检索历史快照比 instruct 版更密save_every16长输入支持到 2400。三、深度思考开启 / 自动两个模式深度思考的原理很简单开启后会在传给模型的提示词末尾追加一个think引导模型先把思考过程写出来再给正式回答。think算作模型输出的一部分返回结果和流式输出都会先看到它。深度思考有两个模式注意——没有单独的“关闭”模式模式传参行为开启thinkTrue每轮在提示词末尾追加think强制引导模型先思考再回答自动默认thinkFalse 或省略不追加think由模型自行决定是否输出思考过程代码切换示例fromxiaothink.llm.inference_torch.torch_formalimportTorchModel modelTorchModel(ckpt_dirrpath/to/ckpt_test_t17_rwkv5_mla_instruct_pro,MTt17_rwkv5_mla_instruct_pro,use_bf16False)model.set_form(ua_chat)# 【开启】强制深度思考输出以 think 开头respmodel.chat(为什么天空是蓝色的,thinkTrue)print(resp)# 【自动】默认模式不强制模型自己决定respmodel.chat(你好今天天气怎么样,thinkFalse)# 单轮对话同样支持respmodel.chat_single(11等于几,thinkTrue)需要 xiaothink ≥1.5.0才能使用深度思考参数模型本身用 ≥ 1.4.8 即可调用。四、历史里的思考内容怎么处理多轮对话时上一轮的think.../think会被拼进历史提示词。如果你不想让思考过程“污染”后续回答比如模型在下一轮引用自己的思考草稿可以关掉保留# 多轮保留思考内容默认model.chat(第一问,thinkTrue,keep_think_in_historyTrue)# 多轮删除历史中的思考内容只留正式回答model.chat(第二问,thinkTrue,keep_think_in_historyFalse)keep_think_in_historyFalse时会整体删除已闭合的think.../think块如果模型输出被截断留下未闭合的think会把它连同后面的内容一起截断保证后续对话干净。五、快速上手三连安装依赖、加载模型、开聊pipinstallxiaothink[torch]# 含 PyTorch 后端exportXIAOTHINK_BACKENDtorch# 只导入 PyTorch跳过 TF/Paddlefromxiaothink.llm.inference_torch.torch_formalimportTorchModel modelTorchModel(ckpt_dirrpath/to/ckpt_test_t17_rwkv5_mla_instruct_pro,MTt17_rwkv5_mla_instruct_pro,use_bf16False)model.set_form(ua_chat)# 深度思考强制print(model.chat(写一首关于春天的诗,thinkTrue,temperature0.9,top_p0.95))六、总结T17-RWKV5-MLA-Instruct-Pro是 ≈0.6B 的端侧指令模型延续 RWKV-v5 MLA 纯历史检索架构深度思考有开启强制think和自动模型自行决定两个模式无单独的关闭模式需 xiaothink ≥ 1.5.0keep_think_in_history帮你控制历史里思考内容的去留多轮对话更干净。本地小模型也能“先想再答”欢迎交流讨论模型下载ModelScopeXiaothink-T17-RWKV5-MLA-0.6B-Instruct-Pro 0.6B 也能“先想再答”？Xiaothink-T17-RWKV5-MLA-Instruct-Pro 深度思考实战
一、背景0.6B 模型真的“不会思考”吗很多人觉得只有百亿、千亿参数的大模型才配谈“深度思考”。本地小模型呢生成快、跑得动但遇到稍微绕一点的提问经常答得又短又直——不是它不想而是训练时根本没被引导过“先想后答”。小思框架Xiaothink最近发布了Xiaothink-T17-RWKV5-MLA-Instruct-Pro≈0.6B 参数配合 xiaothink 库v1.5.0的深度思考Deep Think能力让 0.6B 的小模型也能“先想再答”。这篇文章就带大家上手模型怎么装、深度思考怎么开、两个模式怎么切换。二、先认识这个模型T17-RWKV5-MLA-Instruct-Pro 是基于 t17_rwkv5_mla_instruct_frontend 继续微调的指令模型核心参数如下参数值说明参数量≈0.6B613.9M端侧可部署d_model1400嵌入维度num_heads / num_layers4 / 16多头注意力头数 / 层数history_top_k6历史检索 top-ksave_every16历史快照保存间隔步max_seq_len51200最大序列长度max_cut2400推理输入最大截断长度词表大小52,894中文词表架构上依然是自研的RWKV-v5 MLADeepSeek V3 风格低秩压缩注意力纯历史检索架构RWKV 负责当前信息建模MLA 负责长程历史检索历史快照比 instruct 版更密save_every16长输入支持到 2400。三、深度思考开启 / 自动两个模式深度思考的原理很简单开启后会在传给模型的提示词末尾追加一个think引导模型先把思考过程写出来再给正式回答。think算作模型输出的一部分返回结果和流式输出都会先看到它。深度思考有两个模式注意——没有单独的“关闭”模式模式传参行为开启thinkTrue每轮在提示词末尾追加think强制引导模型先思考再回答自动默认thinkFalse 或省略不追加think由模型自行决定是否输出思考过程代码切换示例fromxiaothink.llm.inference_torch.torch_formalimportTorchModel modelTorchModel(ckpt_dirrpath/to/ckpt_test_t17_rwkv5_mla_instruct_pro,MTt17_rwkv5_mla_instruct_pro,use_bf16False)model.set_form(ua_chat)# 【开启】强制深度思考输出以 think 开头respmodel.chat(为什么天空是蓝色的,thinkTrue)print(resp)# 【自动】默认模式不强制模型自己决定respmodel.chat(你好今天天气怎么样,thinkFalse)# 单轮对话同样支持respmodel.chat_single(11等于几,thinkTrue)需要 xiaothink ≥1.5.0才能使用深度思考参数模型本身用 ≥ 1.4.8 即可调用。四、历史里的思考内容怎么处理多轮对话时上一轮的think.../think会被拼进历史提示词。如果你不想让思考过程“污染”后续回答比如模型在下一轮引用自己的思考草稿可以关掉保留# 多轮保留思考内容默认model.chat(第一问,thinkTrue,keep_think_in_historyTrue)# 多轮删除历史中的思考内容只留正式回答model.chat(第二问,thinkTrue,keep_think_in_historyFalse)keep_think_in_historyFalse时会整体删除已闭合的think.../think块如果模型输出被截断留下未闭合的think会把它连同后面的内容一起截断保证后续对话干净。五、快速上手三连安装依赖、加载模型、开聊pipinstallxiaothink[torch]# 含 PyTorch 后端exportXIAOTHINK_BACKENDtorch# 只导入 PyTorch跳过 TF/Paddlefromxiaothink.llm.inference_torch.torch_formalimportTorchModel modelTorchModel(ckpt_dirrpath/to/ckpt_test_t17_rwkv5_mla_instruct_pro,MTt17_rwkv5_mla_instruct_pro,use_bf16False)model.set_form(ua_chat)# 深度思考强制print(model.chat(写一首关于春天的诗,thinkTrue,temperature0.9,top_p0.95))六、总结T17-RWKV5-MLA-Instruct-Pro是 ≈0.6B 的端侧指令模型延续 RWKV-v5 MLA 纯历史检索架构深度思考有开启强制think和自动模型自行决定两个模式无单独的关闭模式需 xiaothink ≥ 1.5.0keep_think_in_history帮你控制历史里思考内容的去留多轮对话更干净。本地小模型也能“先想再答”欢迎交流讨论模型下载ModelScopeXiaothink-T17-RWKV5-MLA-0.6B-Instruct-Pro