使用说明

MacroAI 使用说明

一、简介

MacroAI 是一款 Windows 桌面宏自动化工具。你可以通过录制操作可视化节点编排Lua 脚本的方式,创建能自动执行鼠标点击、键盘输入、图像识别、OCR 文字识别、界面变化检测等操作的自动化流程。

适用场景: 办公自动化 · 软件测试 · 游戏辅助 · 运维管理 · RPA


二、快速上手 — 5 分钟体验

MacroAI 以项目为单位组织所有内容(节点、脚本、图片、录制的宏等),因此使用前必须先创建一个项目。

1. 新建项目

点击菜单 项目 → 新建项目(或按 Ctrl+N):

  1. 首次使用会引导选择工作目录(项目文件的存放位置)
  2. 输入项目名称
  3. 设定设计区域 — 宏操作的有效范围:
  4. 全屏:以当前屏幕分辨率为范围
  5. 自定义选择:鼠标拖拽框选一个窗口或区域

2. 认识主界面

主界面中央是 8 个标签页Ctrl+1~Ctrl+8 切换),首次使用先关注这几个:

标签页 快捷键 用途
节点编辑 Ctrl+1 可视化拖拽搭建流程(最常用)
代码编辑 Ctrl+2 查看/编辑自动生成的 Lua 脚本
宏管理 Ctrl+7 管理录制的宏

工具栏提供运行/停止、后台/前台模式切换、点击可视化(🔴)、调试模式(🐞)等控制项。底部状态栏显示运行状态。

3. 录制并回放宏

录制是创建宏最直接的方式——先录再改,快速出活:

  1. 切换到宏管理标签页(Ctrl+7),点击 + 新建录制
  2. 设计区域出现绿色边框,左下角有 「■ 停止录制」 按钮
  3. 正常执行你想自动化的操作(点击、输入文字等)
  4. 操作超出设计区域时边框闪烁红色提示,该操作不会被记录
  5. 点击 「■ 停止录制」 结束录制
  6. 弹出对话框,点击 保存到项目
  7. 在宏列表中选中刚录制的宏,点击 ▶ 播放 即可回放

4. 用节点编辑器增强流程

录制的宏只能原样回放。想加入条件判断、循环、图像识别等逻辑?用节点编辑器:

  1. 切换到节点编辑标签页(Ctrl+1
  2. 在左侧面板中点击 调用录制宏 节点,添加到流程中
  3. 双击节点打开配置,选择刚才录制的宏
  4. 在它前后添加其他节点(如等待查找图像),打造更智能的自动化
  5. 直接拖拽节点调整顺序,也可将节点拖入条件判断循环中组合使用

节点编辑器的操作会自动生成脚本代码,可在代码编辑器中查看和手动修改。

5. 运行项目

点击 ▶ 运行(或按 F5)执行当前项目的节点工作流/脚本代码。点击 ■ 停止(或按 Shift+F5)随时终止。

提示:工具栏的 🐞 调试 模式开启后,日志会显示更详细的执行信息,方便排查问题。


三、核心能力

图像识别

在屏幕上查找指定图片并执行操作:

  1. 图像管理标签页(Ctrl+4)上传或截图保存模板图片
  2. 在节点编辑器中添加 查找图像 节点
  3. 配置:选择模板图片、搜索区域、匹配程度(默认 0.85)、匹配方式
  4. 开启"启用点击"可在找到后自动点击;设置超时时间可让节点持续等待图像出现
  5. 运行结果通过变量引用:result.center_xresult.center_y

OCR 文字识别

识别屏幕上的文字:

  • OCR 识别:框选区域,识别其中的文字内容
  • OCR 比对:判断指定文字是否出现在区域中,开启"启用点击"可自动点击
  • 可在设置(Ctrl+,)中配置默认识别语言

界面变化检测

等待屏幕出现特定变化,常用于监控界面状态:

  • 等待界面变化:检测指定区域内的内容变化。支持灵敏度调节、周期性变化过滤(如闪烁按钮)、超时设置
  • 等待条块变化:追踪条块长短变化(血条、进度条)。支持自动识别横向/纵向、滚动条干扰过滤

键盘鼠标模拟

  • 鼠标点击 / 鼠标移动 / 鼠标拖拽:支持坐标输入和变量引用,可直接框选获取坐标
  • 按键 / 输入文本:模拟键盘操作,支持快捷键组合
  • 坐标字段支持:直接输入数字、引用变量(如 result.center_x)、点击获取

流程控制

  • 等待:在两个动作之间插入延迟(毫秒)
  • 条件判断:根据条件(上一步成功/失败、自定义表达式)执行不同分支,可放入其他节点
  • 循环:重复执行,可放入其他节点,支持跳出循环
  • 调用函数:执行已定义的可复用子流程
  • 调用录制宏:在节点流程中回放录制的宏

每个节点可设置执行条件(上一步成功时执行、上一步失败时执行、自定义表达式)。循环条件判断可将其他节点放入其中组合使用,拖拽即可调整节点的层级和顺序。

变量与数据传递

变量标签页(Ctrl+3)定义变量(名称、类型、默认值),节点配置中通过 菜单插入引用:

常用变量 说明
result.success 上一步是否成功
result.x / result.y 目标左上角坐标
result.center_x / result.center_y 目标中心坐标
ocr_text / ocr_result OCR 识别结果

音频与通知

  • 播放音效:系统提示音、do~si 蜂鸣、自定义音频文件
  • 播放音乐:常见格式的背景音乐,浮动面板自动显示控制按钮(暂停/继续/静音),播放音效时自动降低背景音乐音量
  • 弹出提示:执行到指定步骤时显示通知消息

四、进阶功能

函数与自定义动作

函数:将一组节点打包成可复用的子流程,支持参数传递。在函数标签页(Ctrl+5)新建和编辑。

自定义动作:将函数绑定到浮动面板的一键按钮。在自定义动作标签页(Ctrl+6)中设置,运行宏时面板自动显示对应按钮。

区域与多分辨率适配

区域是屏幕上的命名矩形范围:

  • 设计区域:创建项目时设定的基准坐标空间
  • 运行区域:运行时实际对应的屏幕区域(可与设计区域不同)
  • 自定义区域:自行命名的区域,可在节点配置中引用
  • 坐标策略:决定坐标从设计区域映射到运行区域的方式

坐标策略

通过 项目 → 设置 → 区域设置Ctrl+,)切换:

  • 等比缩放 (uniform) — 游戏、全屏应用:坐标按设计/运行区域的宽高比例缩放。校准时自由框选,保持与设计区域相同的宽高比
  • 平移适配 (desktop) — 浏览器、Office 窗口:坐标仅做平移偏移,不做缩放。校准时仅能调整位置,宽高固定等于设计区域

切换策略会影响所有已有坐标点的解释方式,切换时会有警告提示,可能需要重新调节已有坐标点。

校准运行区域

当脚本在一个分辨率下制作、在另一个分辨率下运行时(或窗口位置偏移时),点击菜单 项目 → 设置 → 区域设置 → 校准 重新设定运行区域:

  1. 如果设计区域是全屏:自动将运行区域设为当前屏幕全屏,无需手动框选
  2. 如果设计区域是自定义框选
  3. 等比缩放模式:拖拽框选运行区域,保持与设计区域相同的宽高比
  4. 平移适配模式:鼠标点击或拖拽指定运行区域的位置(左上角),宽高固定等于设计区域

校准后,所有坐标自动按当前坐标策略重新计算,无需手动调整。

节点级覆盖

每个查找图像节点可独立设置坐标策略(Pro 功能): - 跟随项目(默认) — 继承全局坐标策略 - 等比缩放 — 强制使用缩放模式 - 平移适配 — 强制使用平移模式

用于项目整体使用一种策略、个别节点因界面特性需要另一种策略的情况。

调试工具

  • 🔴 点击可视化:开启后每次点击位置显示红色圆点(0.5 秒后消失),用于验证坐标
  • 🐞 调试模式:开启后日志显示更详细的执行信息
  • 日志输出 节点:在关键步骤后输出自定义日志信息

设置

点击菜单 项目 → 设置Ctrl+,)打开设置面板:

  • 工作目录:项目文件的默认保存位置
  • 界面语言:中文 / English
  • OCR 语言:选择文字识别的默认语言
  • 自动保存:内容变化时自动写入磁盘

五、界面参考

浮动控制面板

运行宏时自动弹出,始终置顶,可拖拽移动:

控制项 功能
⏸ 暂停 / ▶ 继续 暂停或继续执行
动作按钮 每个自定义动作对应一个按钮,点击启动/停止
🔇 / 🔊 / ⏸ / ▶ / ■(音乐) 背景音乐控制(播放音乐时显示)
✕ 关闭 停止并关闭面板

系统托盘

关闭窗口时最小化到系统托盘,双击图标显示主窗口。托盘菜单:显示主窗口 / 运行当前宏 / 停止 / 退出。

快捷键速查

快捷键 功能
Ctrl+N 新建项目
Ctrl+O 打开项目
Ctrl+S 保存项目
Ctrl+Shift+O 切换项目
Ctrl+I 导入项目
Ctrl+E 导出项目
Ctrl+, 打开设置
F5 运行项目
Shift+F5 停止
F1 使用说明
Ctrl+1~Ctrl+8 切换标签页

六、常见问题

录制的宏总是点偏位置?

创建项目时确保框选了正确的设计区域。换了显示器或调整了分辨率后,使用校准功能重新设定运行区域。

图像查找总是失败?

  • 降低匹配阈值(默认 0.85,可试 0.7)
  • 缩小搜索区域,提高查找速度和准确率
  • 确保模板图片来源与运行环境一致
  • 适当降低匹配阈值,找到准确率和宽容度之间的平衡

后台模式和前台模式有什么区别?

  • 后台模式(默认):在后台模拟操作,不干扰正常使用
  • 前台模式:真实控制鼠标键盘,会抢占控制权

后台模式无效时可切换为前台模式,结合 🔴 点击可视化 验证坐标。

如何调试?

开启工具栏的 🐞 调试 模式查看详细日志,在关键步骤后添加日志输出节点,开启 🔴 点击可视化 观察点击位置。

代码编辑器和节点编辑器什么关系?

节点编辑器的操作自动生成 Lua 脚本代码,代码编辑器中可查看和手动编辑,两者双向同步。

Pro 功能如何激活?

当前所有 Pro 功能(高级视觉、通知与听觉、自定义代码)免费使用。状态可在"关于"页面查看。


七、演示项目

MacroAI 安装包内置了演示项目,帮助你快速了解软件功能。

内置演示项目:

项目 说明
办公自动化-记事本 演示:打开记事本 → 写入内容 → 保存文件的完整流程
游戏辅助-血条监控 演示:实时监控游戏血条,血量不足时自动使用药水

导入方式:

  • 首次设置工作目录时:系统会自动询问是否导入演示项目
  • 手动导入:点击菜单 帮助 → 导入演示项目,随时将演示项目导入到当前工作目录

导入后,通过 项目 → 打开项目 即可查看和运行演示项目。你可以自由修改演示项目的脚本和节点,作为学习和二次开发的起点。


详细 API 参考请见菜单 帮助 → API 参考