RAG测试

Promptfoo

promptfoo.dev

Promptfoo是专注于大语言模型Prompt质量评估与测试的开源工具，核心定位是帮助开发者降低LLM应用的落地风险，提升Prompt的稳定性与有效性。核心功能包括自定义测试用例创建、多维度评估指标配置、Web可视化结果对比，同时支持与现有测试流程、CI/CD pipeline无缝集成。目标用户覆盖LLM应用开发者、AI产品经理、Prompt工程师、算法测试人员等，可应用于对话机器人Prompt调优、RAG系统检索效果验证、AI生成内容合规性检测、多模型输出效果横向对比等多个场景，帮助用户在LLM应用迭代过程中快速定位Prompt的缺陷，减少线上异常问题的出现。