如何分发你微调的Needle 2模型NEEDLE_HF_REPO发布needle download拉取【免费下载链接】needle14MB foundation model for tiny devices; phones, wearables, smart home, and robots.项目地址: https://gitcode.com/GitHub_Trending/needle20/needleNeedle 2是 Cactus Compute 开源的 45M 参数端侧基础模型面向手机、可穿戴设备、智能家居和机器人整个模型压缩为一个仅14MB的.cact文件运行一次完整会话只需约 28MB 内存。当你用 LoRA 微调出自己的专用模型后如何把它分发给队友、部署到另一台设备答案很简单设置NEEDLE_HF_REPO环境变量配合needle build --upload一键发布接收方再用needle download命令拉取即可全程无需手动搬运文件。一、分发流程 3 步概览整个发布链路只有三步全部是 CLI 命令步骤命令/操作产出1️⃣ 训练needle finetune data.jsonlLoRA 适配器needle_lora.pkl2️⃣ 构建发布needle build ... --upload上传.cact到 HF 仓库3️⃣ 拉取needle download org/model本地可用的.cact文件调优细节数据格式、loss 曲线判断可参考官方文档 doc/finetuning.md。二、先把微调结果构建成 .cact 文件分发的前提是把训练产物合并导出。执行needle finetune data.jsonl --epochs 10 needle build checkpoints/needle2.pkl --lora checkpoints/needle_lora.pkl --out my_needle.cact基础 checkpoint 若本地缺失会自动从 Hugging Face 下载无需手动准备加--bits 2可导出更小的模型默认 4 bit导出格式由 needle/model/export.py 定义权重、量化代码书和 tokenizer 全部打进一个自包含文件下载方零依赖。 引擎与权重完全解耦.cact只是同一引擎上的一组权重因此微调模型不需要重编译、不需要重新安装任何东西就能运行。三、NEEDLE_HF_REPO 一键发布发布逻辑在 needle/model/finetune.py--upload时读取NEEDLE_HF_REPO环境变量自动创建仓库并上传文件。# 1. 指定你的 Hugging Face 仓库格式你的用户名/模型名 export NEEDLE_HF_REPOyour_name/my_needle_model # 2. 构建并直接上传 needle build checkpoints/needle2.pkl \ --lora checkpoints/needle_lora.pkl \ --out my_needle.cact --upload看到如下输出即发布成功uploaded my_needle.cact your_name/my_needle_model 要点提醒未设置NEEDLE_HF_REPO就加--upload会直接报错退出提示你补齐变量仓库不存在时程序会自动创建无需提前在网页上建仓库建议用「用户名/用途」命名模型例如acme/kitchen_tools方便团队识别。四、用 needle download 拉取已发布的模型接收方在任何一台装了cactus-needle的机器上安装方式见 README.md执行# 仓库里只有一个 .cact 时省略文件名 needle download your_name/my_needle_model # 仓库里有多个 .cact 时必须指定文件名 needle download your_name/my_needle_model/my_needle.cact # 想放到别的目录加 --out needle download your_name/my_needle_model --out ./models该命令的实现见 needle/cli.py先列出仓库中的.cact文件只有一个时自动选用多个时会列出前 5 个候选让你指名下载完成后打印文件大小并提示下一步用法。五、在目标设备上直接运行拉取下来的.cact可以直接通过weights参数加载引擎对权重无感知import needle agent needle.Needle(weightsmy_needle.cact, tools[set_lights]) print(agent.run(把厨房灯调暗一点)[results])也可以丢进浏览器 Playground 验证效果needle playground --weights my_needle.cact六、常见问题 FAQQ1拉下来的.cact报failed to load weights.cact格式与引擎版本绑定旧版包导出的归档在新版引擎上无法加载。解决用当前版本的包重新执行needle build再发布。Q2微调模型的 confidence 字段为什么是 None微调不会更新置信度头官方对调优权重禁用了该分数详见 doc/finetuning.md 的 What finetuning does not change。这是预期行为不影响工具调用结果。Q3仓库里放了多个.cact会怎样needle download org/repo无法确定拉哪个会报错并列出前 5 个文件名此时请显式传第三个路径段org/repo/file.cact。Q4断网/离线设备怎么办在有网机器上needle download拿到.cact后拷贝到设备即可推理本身不发起任何网络请求离线部署方式详见 doc/apis.md。✅ 小结训练 →needle build --upload配NEEDLE_HF_REPO→needle download→weights加载四步完成一个 14MB 微调模型的完整分发闭环从手机到机器人一个文件走天下。【免费下载链接】needle14MB foundation model for tiny devices; phones, wearables, smart home, and robots.项目地址: https://gitcode.com/GitHub_Trending/needle20/needle创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 如何分发你微调的Needle 2模型：NEEDLE_HF_REPO发布+needle download拉取
如何分发你微调的Needle 2模型NEEDLE_HF_REPO发布needle download拉取【免费下载链接】needle14MB foundation model for tiny devices; phones, wearables, smart home, and robots.项目地址: https://gitcode.com/GitHub_Trending/needle20/needleNeedle 2是 Cactus Compute 开源的 45M 参数端侧基础模型面向手机、可穿戴设备、智能家居和机器人整个模型压缩为一个仅14MB的.cact文件运行一次完整会话只需约 28MB 内存。当你用 LoRA 微调出自己的专用模型后如何把它分发给队友、部署到另一台设备答案很简单设置NEEDLE_HF_REPO环境变量配合needle build --upload一键发布接收方再用needle download命令拉取即可全程无需手动搬运文件。一、分发流程 3 步概览整个发布链路只有三步全部是 CLI 命令步骤命令/操作产出1️⃣ 训练needle finetune data.jsonlLoRA 适配器needle_lora.pkl2️⃣ 构建发布needle build ... --upload上传.cact到 HF 仓库3️⃣ 拉取needle download org/model本地可用的.cact文件调优细节数据格式、loss 曲线判断可参考官方文档 doc/finetuning.md。二、先把微调结果构建成 .cact 文件分发的前提是把训练产物合并导出。执行needle finetune data.jsonl --epochs 10 needle build checkpoints/needle2.pkl --lora checkpoints/needle_lora.pkl --out my_needle.cact基础 checkpoint 若本地缺失会自动从 Hugging Face 下载无需手动准备加--bits 2可导出更小的模型默认 4 bit导出格式由 needle/model/export.py 定义权重、量化代码书和 tokenizer 全部打进一个自包含文件下载方零依赖。 引擎与权重完全解耦.cact只是同一引擎上的一组权重因此微调模型不需要重编译、不需要重新安装任何东西就能运行。三、NEEDLE_HF_REPO 一键发布发布逻辑在 needle/model/finetune.py--upload时读取NEEDLE_HF_REPO环境变量自动创建仓库并上传文件。# 1. 指定你的 Hugging Face 仓库格式你的用户名/模型名 export NEEDLE_HF_REPOyour_name/my_needle_model # 2. 构建并直接上传 needle build checkpoints/needle2.pkl \ --lora checkpoints/needle_lora.pkl \ --out my_needle.cact --upload看到如下输出即发布成功uploaded my_needle.cact your_name/my_needle_model 要点提醒未设置NEEDLE_HF_REPO就加--upload会直接报错退出提示你补齐变量仓库不存在时程序会自动创建无需提前在网页上建仓库建议用「用户名/用途」命名模型例如acme/kitchen_tools方便团队识别。四、用 needle download 拉取已发布的模型接收方在任何一台装了cactus-needle的机器上安装方式见 README.md执行# 仓库里只有一个 .cact 时省略文件名 needle download your_name/my_needle_model # 仓库里有多个 .cact 时必须指定文件名 needle download your_name/my_needle_model/my_needle.cact # 想放到别的目录加 --out needle download your_name/my_needle_model --out ./models该命令的实现见 needle/cli.py先列出仓库中的.cact文件只有一个时自动选用多个时会列出前 5 个候选让你指名下载完成后打印文件大小并提示下一步用法。五、在目标设备上直接运行拉取下来的.cact可以直接通过weights参数加载引擎对权重无感知import needle agent needle.Needle(weightsmy_needle.cact, tools[set_lights]) print(agent.run(把厨房灯调暗一点)[results])也可以丢进浏览器 Playground 验证效果needle playground --weights my_needle.cact六、常见问题 FAQQ1拉下来的.cact报failed to load weights.cact格式与引擎版本绑定旧版包导出的归档在新版引擎上无法加载。解决用当前版本的包重新执行needle build再发布。Q2微调模型的 confidence 字段为什么是 None微调不会更新置信度头官方对调优权重禁用了该分数详见 doc/finetuning.md 的 What finetuning does not change。这是预期行为不影响工具调用结果。Q3仓库里放了多个.cact会怎样needle download org/repo无法确定拉哪个会报错并列出前 5 个文件名此时请显式传第三个路径段org/repo/file.cact。Q4断网/离线设备怎么办在有网机器上needle download拿到.cact后拷贝到设备即可推理本身不发起任何网络请求离线部署方式详见 doc/apis.md。✅ 小结训练 →needle build --upload配NEEDLE_HF_REPO→needle download→weights加载四步完成一个 14MB 微调模型的完整分发闭环从手机到机器人一个文件走天下。【免费下载链接】needle14MB foundation model for tiny devices; phones, wearables, smart home, and robots.项目地址: https://gitcode.com/GitHub_Trending/needle20/needle创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考