
Aria-UI是聚焦GUI指令视觉定位方向的大规模多模态模型展示与应用平台,核心面向UI交互自动化、智能代理研发等领域的开发者与研究人员,提供模型能力演示、技术文档、基准测试结果查询等功能。平台支持纯视觉模式下的界面元素定位,无需依赖AXTree等辅助输入,可适配PC端软件、移动端APP、网页等多种界面的交互指令识别需求,可应用于智能助手研发、UI自动化测试、无障碍交互工具开发等场景,帮助相关从业者降低GUI交互智能模型的研发与落地门槛。
- 运营状态
- 正常运营
- 地址
- ariaui.github.io
- 定价模式
- 基础功能免费
- 支持平台
- Web 网页 / API 接口
- 是否开源
- 闭源
- 适合人群
- UI自动化测试工程师、智能代理研发人员、多模态模型研究者、无障碍工具开发者
- 收录时间
- 2026/6/14
- 访问量
- 0 次
编辑点评
该平台聚焦GUI领域的视觉交互定位需求,区别于多数依赖底层界面数据的同类模型,其采用的纯视觉定位路径解决了很多第三方界面无法获取AXTree等辅助数据的痛点,在实际落地场景中适配性更强。平台不仅提供了直观的在线演示功能,用户上传截图输入指令就能快速验证模型能力,还公开了完整的基准测试数据和技术细节,对于研究人员来说可参考性较强,配套的样本生成工具也能帮助开发者降低训练数据的准备成本。目前该模型在多类界面的识别准确率表现突出,无论是做自动化测试工具开发,还是智能助手的交互模块研发,都可以将其作为技术选型的参考选项,平台的文档和接口支持也比较完善,对接落地的门槛不高。
核心功能
使用指南
- 1
访问Aria-UI官方网站https://ariaui.github.io,在首页了解模型的核心定位与基础能力介绍,确认是否符合自身的使用需求。
- 2
点击导航栏的“演示”板块,上传需要识别的GUI界面截图,支持常见的PNG、JPG等图片格式,大小不超过平台规定上限。
- 3
在指令输入框中输入需要执行的自然语言指令,明确表述要定位的界面元素或要完成的操作需求,比如“找到页面顶部的搜索框”。
- 4
点击“运行识别”按钮,等待模型处理,处理完成后即可在截图上查看识别到的元素边界框,以及对应的坐标和置信度信息。
- 5
若需要接入模型到自有项目,可进入“文档”板块查看接口调用说明,按照指引申请调用权限,完成接口对接与测试。
优势与不足
优点4 项
"无需依赖AXTree等界面底层辅助数据,仅通过截图即可完成元素定位,适配无接口权限的第三方界面识别场景"
"支持多种类型的GUI界面适配,覆盖PC软件、移动端APP、网页、车载系统等常见交互场景"
"提供完整的基准测试对比数据,公开与不同基线模型的性能差异,方便用户评估模型效果"
"内置指令样本生成工具,可自动生成对应场景的标注样本,降低用户训练数据的准备成本"
不足3 项
"纯视觉模式下,对于界面内高度相似的元素,识别准确率会有所下降,可能出现定位偏差"
"当前在线演示仅支持单张截图的单次指令识别,暂不支持连续多步交互指令的模拟执行"
"免费调用额度有限,大量调用需要申请付费权限,对于高并发需求的用户使用成本较高"
定价说明
Aria-UI提供免费使用额度,个人非商业使用可申请每月固定的接口调用次数,在线演示功能完全免费开放,免费版足够用于模型能力验证和小规模测试场景。付费版采用按量计费模式,根据调用次数阶梯定价,每千次调用价格在20-50元区间,具体根据调用量、是否需要定制化训练等需求有所调整,同时还提供企业级部署方案,价格根据部署规模和支持服务等级单独核算。建议个人研究者、小规模测试用户使用免费版即可,企业级商用、高并发调用需求的用户可根据实际调用量选择对应阶梯的付费套餐,有定制需求的可联系官方咨询专属部署方案。
价格和授权政策可能变化,请以官网最新信息为准
适合人群与场景
- UI自动化测试工程师
自动化测试脚本开发场景
- 智能代理研发人员
桌面/移动端智能助手开发场景
- 多模态模型研究者
GUI视觉定位方向研究场景
- 无障碍工具开发者
屏幕阅读器等辅助工具开发场景
- 产品经理
智能交互功能原型验证场景
- 前端开发者
界面交互逻辑自动化验证场景
- 机器人研发人员
GUI交互型机器人功能开发场景
常见问题
深度了解
在GUI交互智能化的发展过程中,界面元素的精准定位是实现自动化交互、智能代理响应的核心环节,传统的定位方案大多依赖AXTree等界面底层数据,对于大量第三方应用、无接口权限的场景适配性较差,Aria-UI的出现为这类场景提供了新的解决路径。作为专注GUI指令视觉定位的大规模多模态模型,Aria-UI采用纯视觉技术路线,无需接入任何界面底层辅助数据,仅通过界面截图和自然语言指令,即可精准定位目标交互元素,覆盖PC软件、移动端APP、网页、车载系统等多种GUI界面类型。
平台不仅提供在线演示功能,用户上传截图输入指令即可快速验证模型定位能力,还公开了完整的基准测试数据,用户可查看其在离线、在线代理基准测试中的性能表现,以及与不同基线模型的对比结果。同时平台配套了指令样本生成工具、技术文档、API接口和本地部署支持,能够满足从个人研究者的模型验证、小规模测试,到企业级商用的高并发调用、数据安全要求高等不同场景的需求。
无论是UI自动化测试工程师开发自动化测试脚本,还是智能代理研发人员搭建桌面/移动端智能助手的交互模块,或是多模态模型研究者开展GUI视觉定位方向的相关研究,都可以在Aria-UI平台获取对应的功能支持,降低相关研发工作的门槛,提升落地效率。
Ready to try
准备好体验 Aria-UI 了吗?
点击下方按钮在新标签页打开官网,开始探索它的全部功能。
相关工具
通义灵码
通义灵码是阿里云推出的AI编程辅助工具,依托通义大模型技术能力,为开发者提供全流程编程效率提升服务。核心功能包括智能代码补全、自然语言转代码、代码缺陷检测与优化、交互式编程问答等,可对接多款主流IDE环境,适配多种常见编程语言。面向各类软件开发从业者、计算机相关专业学生、编程爱好者等群体,适用于日常业务功能开发、代码调试排错、技术方案选型参考、编程学习入门等多种场景,帮助用户减少重复编码工作量,降低代码出错概率。

Cursor
免费Cursor是一款面向开发者的AI代码编辑器,深度集成Claude 3.5 Sonnet等多款知名大语言模型,核心功能包含智能代码补全、多文件协同编辑、全项目上下文感知等,可适配不同技术栈的开发需求。该工具面向全阶段开发者、独立软件工程师、团队开发人员等群体,可用于日常业务功能开发、遗留代码重构、第三方库接入调试、跨项目需求迭代等多个场景,帮助开发者简化编码流程。
GitHub Copilot
免费GitHub Copilot是由GitHub与OpenAI联合开发的AI编程辅助工具,依托海量开源代码与自然语言大模型技术,为开发者提供代码生成、解释、调试等服务。核心功能包括实时代码补全、自然语言转代码、多语言代码解释、漏洞检测优化。目标用户覆盖学生开发者、后端工程师、前端开发人员、数据分析师等群体,可应用于日常业务代码编写、陌生技术栈学习、遗留代码重构、算法题解思路梳理等场景,帮助开发者降低代码编写重复工作量,提升开发效率。
文心快码
免费Wenxin Quick Code是百度基于文心大模型打造的AI编程辅助平台,核心定位是为不同技术水平的开发者提供全流程编程效率提升支持。平台支持多语言代码生成、智能代码纠错、跨语言代码转换等核心功能,可实现自然语言描述转可运行代码,自动识别代码中的语法错误、逻辑漏洞并给出修复方案,还能完成不同编程语言之间的代码快速转换。目标用户覆盖学生开发者、初级工程师、资深研发人员、技术教研人员等,适用于日常功能开发、代码调试排错、旧项目技术栈迁移、编程学习练习等多种场景,帮助用户减少重复编码工作量,降低代码出错概率。

Comate AI IDE
免费Comate AI IDE是百度基于文心大模型打造的AI原生集成开发环境,属于文心快码品牌核心产品,定位为开发型智能体平台,可将开发者的自然语言意图直接转化为可执行代码。核心功能包括编程智能体Zulu全流程编码辅助、设计稿一键转代码、多智能体协同处理开发任务,支持上百种编程语言,可独立运行或与VS Code、JetBrains系列等主流IDE无缝集成。目标用户覆盖前端工程师、全栈开发者、企业研发团队、编程学习者等群体,适用于UI开发还原、全栈项目搭建、代码调试优化、企业研发流程提效、编程学习实践等多种场景。
JetBrains
免费Junie是JetBrains推出的AI编程助手产品,核心定位是为开发者提供全流程代码相关的智能化辅助能力。其核心功能包括自动代码生成、自动化测试用例编写、代码质量评审,可覆盖从需求落地到代码迭代的完整开发环节。目标用户覆盖个人开发者、企业研发团队、计算机专业学生等不同群体,可应用于日常业务功能开发、开源项目维护、课程编程作业实践、团队代码合规校验等多种场景,帮助开发者在编程过程中减少重复性工作,聚焦核心逻辑的设计与优化。

GitLab
免费Duo Chat是GitLab推出的对话式AI编程辅助工具,核心定位是为开发全流程提供自然语言交互的AI支持。核心功能包括代码上下文理解与生成、开发流程信息查询、安全漏洞识别与修复建议,面向软件开发者、DevOps工程师、技术团队管理者等群体,可应用于日常编码效率提升、项目信息快速检索、代码安全合规排查、新人项目上手辅助等多种场景,帮助降低开发过程中的信息检索成本,减少重复性编码工作量。
CodeGeeX
免费CodeGeeX是由智谱AI开发的AI编程辅助工具,核心定位是为不同技术背景的开发者提供全流程编程支持,可实现代码生成、代码解释、跨语言代码翻译等核心功能。工具覆盖主流编程语言与开发框架,适合学生开发者、企业开发人员、开源项目维护者等群体,可应用于日常功能开发、旧项目代码重构、跨语言项目迁移、编程学习练习等多种场景,帮助用户减少重复编码工作量,提升代码编写效率与规范性。
你是 Aria-UI 的开发者或团队吗?
认领后可编辑工具信息、获取真实点击数据,并在页面上展示官方认证徽章。
访问第三方工具时,请注意账号、隐私与支付安全

用户评论
0· 0 条