
Midscene.js 是一款基于AI技术的UI自动化工具,核心定位是借助多模态大语言模型降低UI自动化测试与脚本维护的门槛。核心功能包括自然语言指令转自动化操作、多场景自动化框架集成、可视化调试报告生成三类,主要面向前端开发人员、测试工程师、自动化运维人员等群体,可应用于Web应用回归测试、UI交互流程验证、页面数据批量提取、跨端自动化流程搭建等场景,无需依赖传统元素选择器编写繁琐脚本,仅通过自然语言描述即可完成自动化任务搭建。
- 运营状态
- 正常运营
- 地址
- midscenejs.com
- 定价模式
- Midscene.js为完全开源项目,所
- 是否开源
- 闭源
- 适合人群
- 前端开发人员、测试工程师、自动化运维人员、数据采集人员
- 收录时间
- 2026/6/14
- 访问量
- 0 次
编辑点评
这款工具的核心优势是打破了传统UI自动化对元素选择器的强依赖,过往UI自动化脚本维护的最大痛点就是界面迭代后元素ID、类名、XPath路径变更,导致大量脚本失效需要重写,而它借助多模态大模型的视觉理解能力,直接通过元素的外观、位置和功能描述识别操作对象,大幅降低了脚本的维护成本。同时它没有强制用户切换全新的自动化体系,而是兼容市面上主流的Puppeteer、Playwright框架,用户可以在现有自动化流程中平滑接入AI能力,降低了迁移成本。作为开源项目采用MIT许可证,用户可以私有化部署,避免了页面敏感数据上传到第三方服务的风险,对于有数据合规要求的企业用户比较友好。不过它目前主要针对Web端场景,原生App端的自动化支持还在迭代中,适合Web项目测试、页面数据采集等场景的用户尝试使用。
核心功能
使用指南
- 1
访问Midscene.js中文官网,在文档板块查看快速开始教程,根据自身使用场景选择浏览器插件、Puppeteer集成或Playwright集成三种接入方式中的一种。
- 2
如果选择浏览器插件模式,直接下载对应Chrome插件安装到浏览器中,打开需要自动化操作的目标网页,启动插件即可开始使用。
- 3
如果选择框架集成模式,按照文档指引通过npm安装Midscene.js依赖包,在现有Puppeteer或Playwright脚本中引入对应的SDK模块。
- 4
在脚本或插件输入框中用自然语言编写操作指令,比如“填写搜索框内容为‘前端测试’,点击搜索按钮,提取前10条结果的标题和链接”,也可同时指定数据输出格式。
- 5
运行自动化任务,等待执行完成后查看生成的可视化报告,核对操作结果和提取的数据,若有执行失败的步骤可根据报告提示调整指令后重新运行。
优势与不足
优点5 项
"无需编写复杂的元素选择器,仅通过自然语言即可生成自动化操作指令,降低使用门槛"
"兼容Puppeteer、Playwright等主流自动化框架,可快速接入现有测试体系"
"提供可视化执行报告,支持步骤回溯和错误定位,降低调试成本"
"采用MIT开源许可证,支持私有化部署,满足数据隐私合规需求"
"支持结构化数据自定义格式提取,无需编写页面解析规则即可获取目标数据"
不足4 项
"复杂交互场景下AI识别准确率存在波动,可能需要调整指令描述才能达到预期效果"
"目前主要支持Web端场景,原生App、小程序端的自动化能力还在开发中"
"本地化部署需要用户自行准备多模态大模型服务,硬件资源要求较高"
"官方文档的实战案例数量较少,新手需要花费时间摸索复杂场景的指令写法"
定价说明
Midscene.js为完全开源项目,所有核心功能均免费开放使用,无功能限制和使用次数限制,也没有商用付费版本。用户可以直接从开源仓库获取源代码,或通过npm安装官方包免费使用,也可根据自身需求对代码进行二次开发。如果需要官方技术支持服务,可联系项目开发团队定制企业级支持方案,适合所有需要UI自动化能力的个人开发者和企业用户免费使用。
价格和授权政策可能变化,请以官网最新信息为准
适合人群与场景
- 前端开发人员
Web项目功能自测
- 测试工程师
UI自动化回归测试
- 自动化运维人员
后台系统批量操作
- 数据采集人员
网页结构化数据提取
- 产品经理
产品流程走查验证
- 低代码开发人员
自动化流程搭建
- 安全测试人员
Web应用漏洞路径遍历
常见问题
深度了解
在UI自动化领域,传统测试方案普遍依赖元素ID、XPath、类名等选择器定位操作对象,一旦页面发生重构,大量脚本会失效需要重写,维护成本极高,而Midscene.js的出现为这一痛点提供了新的解决方案。作为基于多模态大语言模型的UI自动化工具,Midscene.js可以直接理解页面的视觉内容和元素功能,用户只需用自然语言描述操作步骤或期望的数据格式,即可自动完成对应的自动化任务,无需编写复杂的元素定位逻辑。
Midscene.js提供三种主流接入方式,用户可以选择浏览器插件模式快速上手,无需编写代码即可完成简单的自动化操作;也可以选择集成到Puppeteer、Playwright等现有自动化框架中,在不改变原有技术体系的前提下,接入AI驱动的自动化能力。每次任务执行完成后,系统会生成包含每一步操作截图、执行日志、元素识别结果的可视化报告,方便用户快速定位执行失败的原因,降低调试成本。
同时Midscene.js采用MIT开源许可证,所有代码完全开放,支持用户私有化部署,所有页面数据和操作指令都可以在本地环境处理,无需上传到第三方服务器,满足企业级的数据安全和隐私合规要求。无论是前端开发人员需要快速自测功能流程,还是测试工程师需要搭建回归测试体系,或是数据采集人员需要提取页面结构化数据,都可以通过Midscene.js提升工作效率,减少重复劳动。
Ready to try
准备好体验 Midscene.js 了吗?
点击下方按钮在新标签页打开官网,开始探索它的全部功能。
相关工具
Screenwriter
Screenwriter是专注于UI自动化测试的无代码工具,核心定位是降低UI测试的技术门槛,提升测试构建与执行效率。核心功能包括自然语言转测试用例、AI自适应应用识别、测试执行回放调试,无需代码编写即可完成测试全流程。面向测试人员、前端开发人员、产品经理等群体,适用于Web应用迭代验证、回归测试搭建、CI/CD流程集成等场景,可帮助团队减少测试环节的人力投入,提升测试结果的准确性。
Shortest
Shortest是基于Playwright构建的AI自动化测试框架,核心定位是降低自动化测试的技术门槛,帮助团队高效完成Web应用测试工作。核心功能包括自然语言转测试脚本能力,用户无需编写复杂代码,输入自然语言描述的测试场景即可生成可执行的测试用例;支持与GitHub无缝集成,可直接关联代码仓库,实现测试用例的版本同步与自动化触发;具备测试报告自动生成能力,执行完成后输出包含错误定位、执行耗时等信息的完整报告。目标用户覆盖前端开发工程师、测试工程师、产品经理等岗位,适用于Web应用迭代测试、CI/CD流水线集成测试、上线前功能回归测试等多种场景,能够帮助团队减少测试环节的人工投入,缩短项目上线的验证周期。
testRigor
testRigor是一款基于人工智能的软件测试自动化平台,核心定位是通过自然语言处理技术降低自动化测试的实施门槛。平台支持生成全栈自动化测试用例、维护测试脚本、执行跨环境测试验证,同时提供测试结果分析与缺陷定位功能。它面向软件测试工程师、开发团队、产品质量管理人员,适用于Web应用、移动应用、API接口的自动化回归测试、持续集成流程中的测试接入,以及复杂业务场景的批量测试验证等场景。
CircleCI
免费CircleCI是一个面向软件开发团队的持续集成与持续交付平台,核心定位是帮助开发者自动化代码构建、测试和部署流程,提升软件交付效率。平台支持多语言多框架适配,可对接常见代码托管平台,还提供Chunk sidecars本地验证能力,让AI编码代理能在代码提交到CI流程前提前识别运行问题。目标用户覆盖后端开发、前端开发、DevOps工程师、测试工程师、AI应用开发人员等,适合敏捷开发团队日常迭代、企业级应用上线前验证、AI代码生成场景下的本地校验、开源项目持续集成等多种场景。

Sandbox Fusion
Sandbox Fusion是字节跳动开发的、专为大型语言模型(LLMs)设计的多功能代码沙箱工具,核心定位是为LLM代码生成能力测试、代码逻辑验证提供标准化的安全运行环境。核心功能包括支持20种编程语言的代码执行、内置10余个编码相关评估数据集、提供统一HTTP API调用接口,同时支持云基础设施部署和安全隔离机制。目标用户涵盖LLM研发人员、代码模型评测从业者、AI应用开发者、编程教学研究者等,可用于LLM代码生成能力基准测试、多语言代码逻辑验证、AI编码助手性能评估、编程题自动判分、硬件编程逻辑仿真等多个场景,帮助使用者在可控环境下完成代码相关的测试与评估工作。

HTTPie AI
免费HTTPie AI是一款面向API开发与测试场景的工具平台,核心定位是降低API交互的操作复杂度,提升开发与测试环节的效率。平台支持命令行客户端、桌面图形客户端两种使用形式,内置AI辅助生成请求、请求历史同步、响应结构化解析等核心功能,主要面向后端开发人员、测试工程师、API设计人员等用户群体,可应用于日常API功能验证、接口联调、第三方服务接口对接、线上问题排查等多种工作场景。
Katalon
Katalon是集成AI能力的一体化软件测试自动化平台,面向软件质量保障领域提供全流程测试支持。平台支持Web应用、移动应用、API以及桌面应用多类型项目测试,内置AI辅助测试生成、智能维护测试脚本、测试结果分析等核心功能,帮助测试团队、开发团队完成从测试计划设计到缺陷定位追踪的全流程工作。适用于敏捷开发项目、持续集成交付流程,以及各类规模软件产品的质量验证场景,可满足不同技术水平团队的自动化测试需求。
Autoflow
Autoflow是面向现代测试团队打造的无代码跨浏览器自动化测试工具,核心定位是降低自动化测试的技术门槛,帮助团队提升测试效率。核心功能包括可视化录制测试流程、多浏览器兼容执行、测试报告自动生成。目标用户覆盖QA测试人员、前端开发人员、产品经理、项目负责人等群体,可应用于Web产品迭代回归测试、多端兼容性验证、线上功能巡检、新功能上线前全流程验证等多个场景,无需编码基础即可搭建复杂测试链路,缩短测试周期,降低人工重复测试的成本。
你是 Midscene.js 的开发者或团队吗?
认领后可编辑工具信息、获取真实点击数据,并在页面上展示官方认证徽章。
访问第三方工具时,请注意账号、隐私与支付安全

用户评论
0· 0 条