Mano-P实战手册:6个日常GUI自动化场景,从发微信到整理文件全跑通
【免费下载链接】Mano-PMano-P: Open-source GUI-VLA agent for edge devices. #1 on OSWorld (specialized, 58.2%). Runs locally on Apple M4 Mac mini/MacBook — no data leaves your device.Mano-P 是一个开源 GUI-VLA 项目,支持在 Mac mini/MacBook 上或通过算力棒本地运行推理,实现纯视觉驱动的跨平台 GUI 自动化操作。数据完全本地处理,支持复杂多步骤任务规划与执行。项目地址: https://gitcode.com/gh_mirrors/man/Mano-P
Mano-P 是一款开源的 GUI-VLA 智能体(GUI Agent),专为 Mac mini / MacBook(M4 芯片、32GB 内存)或 USB 4.0 算力棒设计,用纯视觉驱动完成跨平台 GUI 自动化操作。它在本机运行推理,截图与任务数据完全不出设备,无需调用云端 API。这篇实战手册带你跑通 6 个最高频的日常 GUI 自动化场景:发微信、整理文件、搜信息、改系统设置、跨应用长链路、企业办公消息。
快速上手:三步完成安装与权限配置
第 1 步:安装 CLI 工具
Mano-P 面向普通用户提供mano-cua命令行工具,通过 Homebrew 一键安装(自动创建独立 Python 虚拟环境,不污染系统):
brew tap Mininglamp-AI/tap brew install mano-cua如需查看源码,可克隆仓库:git clone https://gitcode.com/gh_mirrors/man/Mano-P,项目结构与许可协议详见 README_CN.md 和 LICENSE。
第 2 步:授予两个系统权限
在 系统设置 → 隐私与安全 中为mano-cua勾选:
- 屏幕录制:让它"看见"屏幕
- 辅助功能:让它控制鼠标与键盘
第 3 步:选择推理模式
默认走云端推理服务;想要数据完全本地,只需多装一次本地模型:
mano-cua check && mano-cua install-sdk && mano-cua install-model mano-cua run "打开 Safari 并搜索 Python" --local加上--local后,所有推理基于 MLX 在设备上完成,零网络调用。
场景 1:一句话发微信消息
最高频的场景,比如临时改会议时间:
mano-cua run "打开微信,找到 FTY 的聊天窗口,告诉他会议延期到明天"Mano-P 通过纯视觉识别微信界面——定位聊天列表、输入框、发送按钮,逐步点击输入完成操作,全程不依赖任何 API 接口。官方实测中微信类任务成功率已达 67%(本地 4B 模型)。
场景 2:批量整理文件
文件管理是 Finder 用户的老大难。Mano-P 支持右键菜单、标签、重命名等精细操作,例如:
mano-cua run "在访达中把下载文件夹里所有截图移到 桌面/截图 文件夹,并按日期重命名"它还能处理系统工具类任务:旋转图片(sips -r 90)、给文件打红色标签、把文本翻译后保存为 txt——纯 GUI 搞不定的,它会调用 Shell 工具补位,官方评测中这类"GUI + Bash"混合策略把 100 道真机任务通过率推到了 90%。
场景 3:浏览器搜信息与内容提取
mano-cua run "在小红书搜索 AI 新闻并展示第一条帖子"浏览器/网页是 Mano-P 最强的类别(云端版 90% 通过率)。它像人一样滚动、点击、翻页,从数百个交互元素中精准定位目标控件,无需预先编写任何选择器脚本——界面改版了也不怕,这是它相对传统 RPA 的核心优势。
场景 4:系统设置一行搞定
音量、鼠标指针大小这类藏在系统设置深处的选项,用一句自然语言直达:
mano-cua run "把系统音量调到 50%,并把鼠标指针调到最大"这类任务在真机评测中本地模型通过率 83%,是日常"懒人自动化"的典型切入点。
场景 5:跨应用长链路任务
真正拉开差距的是跨应用工作流,例如:
mano-cua run "在计算器上算 128 乘以 46,把结果复制到备忘录里新建一篇笔记"Mano-P 内置"思考-行动-验证"循环推理机制:每步执行前先规划、执行后校验界面变化,错了会自行回退重来,而不是机械地按脚本走。长链路与跨应用任务建议搭配--max-steps参数设置步数上限,防止意外循环:
mano-cua run "你的跨应用任务" --local --max-steps 30场景 6:企业办公消息与跨系统数据整合
企微/飞书/钉钉场景在官方评测中通过率最高(云端 100%、本地 83%)。更实用的是跨系统数据整合——从没有 API 的桌面软件里"看"出数据:
mano-cua run "打开 WPS 表格,把本月的销售额汇总后发一封邮件给我"无需 API、无需插件,纯视觉提取多源数据并生成结构化结果,这正是 GUI-VLA 方案相对 Web 爬虫的独门能力。
为什么说它稳?OSWorld 专用模型第一
Mano-CUA 1.1 在 OSWorld 上以58.2%成功率位列所有专用 GUI 智能体模型第一,领先第二名 13.2 个百分点;在 WebRetriever Protocol I 上同样登顶(41.7 NavEval)。
高成功率来自其底层训练方法:Mano-Action 双向自增强学习让模型同时掌握"从描述定位元素"和"描述元素"两个方向,配合三阶段渐进式训练(SFT → 离线强化 → 在线强化),点击、输入、拖拽等动作的语义对齐精度远高于普通多模态大模型。
数据安全:为什么本地模式值得开启
- 本地模式:截图与任务描述零外发,适合含敏感信息的工作场景,约 6.4GB 内存即可运行 4B 模型
- 云端模式:仅传输截图和任务描述,不访问本地文件、剪贴板或凭证;运行时请避免在屏幕上显示敏感内容
- 客户端代码完全开源,可自行审计
任务运行时屏幕右上角会显示状态面板,可随时暂停/停止;敏感或潜在危险操作需用户确认后才执行。当前 macOS 为稳定支持平台,Windows / Linux 处于 Beta 阶段。
写在最后
从发微信到整理文件,Mano-P 把"GUI 自动化"从写脚本的活变成了说人话的活:M4 芯片 + 32GB 内存的 Mac 即可完全离线跑通,数据不出设备。建议从场景 4(系统设置)这种低风险任务起步,熟悉状态面板和停止方式后,再逐步交给它跨应用的长链路任务——6 个场景跑通之后,你会发现自己的 Mac 多了一双不知疲倦的"手"。
更多场景演示与基准数据可参考 README.md 中的"应用场景展示"与"基准测试"章节。
【免费下载链接】Mano-PMano-P: Open-source GUI-VLA agent for edge devices. #1 on OSWorld (specialized, 58.2%). Runs locally on Apple M4 Mac mini/MacBook — no data leaves your device.Mano-P 是一个开源 GUI-VLA 项目,支持在 Mac mini/MacBook 上或通过算力棒本地运行推理,实现纯视觉驱动的跨平台 GUI 自动化操作。数据完全本地处理,支持复杂多步骤任务规划与执行。项目地址: https://gitcode.com/gh_mirrors/man/Mano-P
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考