Tools & Integrations

录制与回放

使用 Munk AI 内置的 Web UI 交互式地录制测试用例、调试设备状态,并为后续自动化回放做准备。

当你需要直观地查看 AI Agent 眼中的应用状态,或者想要手动录制一个复杂的测试用例供后续使用时,Munk AI 提供了一个内置的本地 Web UI。它充当了你、目标设备和 AI 记忆之间的桥梁。

适用场景

  • 可视化调试: 查看 Munk AI 正在分析的真实屏幕状态、UI 树解析结果和元素边界。
  • 手动录制用例: 直接在浏览器中与应用交互,录制可靠的 TestCase,而无需手动编写 JSON 配置。
  • 本地优先保护隐私: Web UI 直接连接到你的本地设备(例如通过 scrcpy 连接 Android 模拟器,或本地 Chromium 浏览器),不会将你的应用数据上传到云端。

前置准备

在启动录制服务之前,请确保:

  1. 已安装 Munk CLI。
  2. 如果测试 Android,确保已通过 adb 连接了模拟器或真机。

启动 Web UI

运行 serve 命令来启动 Local API 和 Web GUI 服务。

munk serve --port 16888

启动成功后,打开浏览器并访问终端中显示的地址(通常是 http://127.0.0.1:16888/)。

Web UI 核心功能

Web UI 采用了类似 IDE 的左右分栏布局:

  1. 实时画面 (左侧区域): 目标设备的实时视频流镜像。你可以直接在这个区域点击、滑动,就像真实用户操作一样。
  2. 审查器与时间线 (右侧区域):
    • 观测树 (Observation Tree): 查看 AI 解析后的 UI 层级结构。
    • 动作时间线 (Action Timeline): 你在实时画面中的每一次点击或输入,都会被记录为一个语义化动作(例如:点击元素:'提交' 按钮)。
    • 状态捕获 (State Captures): 你可以捕获特定的屏幕状态,将其作为测试用例中的断言条件 (expected)。

导出与自动化回放

当你在 Web UI 中手动走完目标流程后:

  1. 停止录制。
  2. 检查时间线中捕获的步骤是否准确。
  3. 将时间线导出为一个 TestCase 产物。

导出的产物可以直接用于 munk run casemunk verify change 命令中。这样,你或你的 CI 流水线就可以利用 Munk AI 自动、语义化地回放这段完全相同的测试步骤。