UI自动化

Aria-UI

ariaui.github.io

Aria-UI是聚焦GUI指令视觉定位方向的大规模多模态模型展示与应用平台，核心面向UI交互自动化、智能代理研发等领域的开发者与研究人员，提供模型能力演示、技术文档、基准测试结果查询等功能。平台支持纯视觉模式下的界面元素定位，无需依赖AXTree等辅助输入，可适配PC端软件、移动端APP、网页等多种界面的交互指令识别需求，可应用于智能助手研发、UI自动化测试、无障碍交互工具开发等场景，帮助相关从业者降低GUI交互智能模型的研发与落地门槛。

Midscene.js

midscenejs.com

Midscene.js 是一款基于AI技术的UI自动化工具，核心定位是借助多模态大语言模型降低UI自动化测试与脚本维护的门槛。核心功能包括自然语言指令转自动化操作、多场景自动化框架集成、可视化调试报告生成三类，主要面向前端开发人员、测试工程师、自动化运维人员等群体，可应用于Web应用回归测试、UI交互流程验证、页面数据批量提取、跨端自动化流程搭建等场景，无需依赖传统元素选择器编写繁琐脚本，仅通过自然语言描述即可完成自动化任务搭建。