十年匠心定制 · 商业建站与技术教学双线并行 咨询热线:400-886-1026 service@lmnt.cn
ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

BrowserSkill 操作录制实战:record 命令如何捕获用户行为并生成可回放 Trace

BrowserSkill 操作录制实战:record 命令如何捕获用户行为并生成可回放 Trace BrowserSkill 操作录制实战record 命令如何捕获用户行为并生成可回放 Trace【免费下载链接】BrowserSkillLet AI agents use your real, logged-in browser without interrupting your work. CLI extension for browser automation across any shell-capable AI agent.项目地址: https://gitcode.com/GitHub_Trending/br/BrowserSkillBrowserSkill是一个让 AI Agent 直接使用你已登录浏览器的浏览器自动化工具CLI 浏览器扩展。除了 Agent 驱动操作外它还内置了操作录制能力一条bsk record start命令就能把你亲手完成的点击、填表、滚动等用户行为完整捕获结束时自动生成可回放、可供大模型学习的Trace文件包。一、操作录制能做什么为什么值得用大多数浏览器操作录制工具只记录坐标 时间换个屏幕分辨率就失效。BrowserSkill 的 record 功能不同语义化步骤每一步都记录操作类型点击 / 输入 / 滚动 / 导航…和目标元素的语义描述角色、名称而不是裸坐标页面状态快照每次操作前后自动捕获页面观察state形成状态 → 动作 → 新状态的完整链路天然适合回放与教学面向 LLM 的上下文可通过--purpose写入录制目的让模型理解这段操作是为了什么。一句话概括你像真人一样演示一遍流程BrowserSkill 就产出一份AI 能看懂的操作手册。二、录制前的环境准备三步快速检查录制依赖bskCLI、本地 daemon 和浏览器扩展三者在线。开始前建议做一遍最小检查安装 CLImacOS / Linux 执行install.shWindows 执行install.ps1安装脚本见仓库根目录 install.sh 与 install.ps1从 Chrome Web Store 或 Edge 加载项商店安装 BrowserSkill 扩展并确认弹窗显示已连接运行bsk doctor确认健康检查通过。 只连了一个浏览器时无需指定同时连接了 Chrome 和 Edge 时后续命令需加--browser id区分。三、一键开始录制record start 参数详解在终端执行bsk record start --url https://你的目标站点 --purpose 录制商品发布流程命令执行后会打开Agent Window独立可见的浏览器窗口不干扰你正常使用的标签页终端随即进入等待状态。页面顶部会出现一个可拖动的录制浮标显示红色脉冲圆点与计时器——演示结束后点击浮标上的结束按钮即可停止。该浮标组件实现在 RecordOverlay.tsx。常用参数一览参数作用--url 链接录制前自动导航到该地址缺省为 example.com若打不开请按提示显式传入--purpose 文本写入 trace 的目的说明作为 LLM 上下文--output 目录Trace 输出目录默认./trace--redact-values抹除页面观察中的表单值只留[filled]敏感页面必开--browser id多浏览器在线时指定实例--max-page-tokens单个页面观察的 token 上限默认 3000参数定义可参见 record.rs。四、结束录制的两种方式浏览器内或终端推荐在浏览器点击浮标结束record start会自动收到结果并落盘兜底在另一个终端执行bsk record stop。即使record start正阻塞等待中也可以触发daemon 会转发停止指令见 record.rs。两种方式的输出完全一致终端会打印类似saved 12 steps to trace/trace.json and 5 states to trace/states五、输出解读Trace 文件包里有什么导出的是一个目录而非单个文件trace/ ├── trace.json # 步骤、状态索引、元信息 └── states/ ├── s1.txt # 第 1 个页面观察纯文本快照 └── s2.txt # 第 2 个页面观察trace.jsonTrace v3 格式的核心字段与 JSON Schema 定义在 record_v3.rs 和 trace_v3.jsonpurpose/started_at/recorded_at/stopped_by录制元信息states[]每次页面变化的观察快照与states/sN.txt文件一一对应steps[]按顺序记录的操作步骤每一步都带有state操作前状态与result.state操作后状态引用。支持捕获的步骤类型navigate导航含导航原因、switch_tab切换标签、click点击、hover悬停、fill输入含提交方式、select下拉选择、press按键、scroll滚动。正是这种状态—动作—状态的三元组结构让回放不依赖屏幕坐标也便于让模型逐段理解每个动作发生时的页面上下文。六、实战避坑导出恢复与隐私注意事项导出失败不丢数据若--output配置有误导致写盘失败trace 会保留在恢复区用bsk record stop --output 正确目录即可找回恢复机制实现见 export.rs旧版扩展自动降级若扩展版本过旧只能返回 v2 traceCLI 会提示更新扩展以获得完整 v3 快照包目录规则--output必须指向目录不能是trace.json这类文件路径CLI 会在录制开始前就拦截非法值隐私红线官方技能文档明确提醒——不要录制银行、SSO、密码管理器页面见 SKILL.md涉及表单的录制建议始终加上--redact-values密码类输入在 v3 格式中也默认会被标记脱敏。小结你的需求推荐做法让 Agent 学会一段人工流程record start --purpose …演示一遍把 trace 目录交给 Agent敏感系统操作留档加--redact-values仅保留[filled]占位终端卡住/远程场景另开终端bsk record stop兜底导出BrowserSkill 的 record 功能把用户演示与AI 执行之间搭起了一座桥录制即教学trace 即可回放。配合扩展的 Agent Window 与 human-in-loop 能力详见 README它是目前把真实浏览器经验转化为可复用自动化资产的最轻量路径之一。【免费下载链接】BrowserSkillLet AI agents use your real, logged-in browser without interrupting your work. CLI extension for browser automation across any shell-capable AI agent.项目地址: https://gitcode.com/GitHub_Trending/br/BrowserSkill创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表