模型评估
intellabs.github.io
RAG-FiT是由英特尔实验室推出的专注于提升大语言模型外部信息利用能力的开源工具库，核心定位为面向RAG场景的模型微调解决方案。其核心功能包括RAG增强数据集生成、微调流程自动化、效果对比评估、多架构模型适配、性能优化调度五大模块，目标用户覆盖AI算法研发人员、大模型应用开发者、高校NLP研究人员、企业AI团队等，可应用于RAG应用落地前的模型适配优化、学术研究中的RAG性能对比实验、垂域大模型的检索增强能力迭代等场景，帮助解决大模型在检索增强场景下的幻觉、信息整合偏差、上下文利用率低等常见问题。
entrypointai.com
Entry Point AI是面向大语言模型自定义需求的低代码训练管理平台，核心定位是帮助用户在无复杂编程基础的前提下完成大模型的训练、迭代与落地部署。平台支持多来源数据集导入、无代码模型训练流程配置、多维度模型效果对比三大核心功能，面向AI产品开发者、企业AI运维人员、AI领域研究者、数据分析从业者等群体，可应用于垂类行业客服模型训练、专业领域问答系统搭建、个性化内容生成模型调优、企业内部知识库模型适配等场景，降低大语言模型自定义训练的技术门槛。
arize.com
Arize AI是面向AI全生命周期的AI应用可观测性与评估平台，覆盖从模型开发到生产部署的全流程监测与优化需求。平台支持多类型AI模型的性能追踪、漂移检测、根因定位与质量评估，帮助开发与运维团队及时发现生产环境中AI模型出现的问题，优化模型表现。核心功能包含模型漂移监测、性能指标追踪、根因诊断、数据分片分析、LLM评估等，主要面向AI开发团队、机器学习工程师、MLOps运维人员，适用于生产模型监控、新模型上线评估、大语言应用质量管控等场景。
autoblocks.ai
Autoblocks是面向生成式AI产品团队的协作式云工作空间，核心定位是为GenAI产品从原型到落地全生命周期提供LLMOps支撑。核心功能包括多版本Prompt集中管理、全链路生产可观测性、多维度模型效果持续评估三大模块，支持主流大模型与各类技术栈接入，适配AI应用开发全流程需求。目标用户覆盖AI产品经理、大模型开发工程师、算法研究员、测试运维人员等GenAI产品相关角色，可满足团队协同迭代Prompt版本、上线后追踪用户交互数据、定期评估模型输出质量、基于真实使用数据优化模型效果等多个场景，帮助团队降低GenAI产品迭代的沟通成本与数据梳理成本。
voxel51.com
Voxel51是面向视觉人工智能开发者的数据集处理与模型优化平台，核心定位是帮助用户完成计算机视觉数据集的快速标注、清理、分析，以及模型评估迭代。平台提供FiftyOne开源计算机视觉数据集工具与企业级数据集管理服务，支持目标检测、图像分类、语义分割等多种计算机视觉任务，可对接主流深度学习框架。核心功能包括数据集探索可视化、错误样本检测、数据集版本管理、模型输出对比分析，适用于计算机视觉项目开发全流程，服务于AI算法工程师、高校计算机视觉研究人员等用户群体，适合数据集构建、模型调试、模型效果迭代等场景。
weavel.ai
Weavel是面向大语言模型应用开发场景的AI提示优化与LLM性能管理平台，核心为开发者提供提示词迭代、模型效果评估、生产数据追踪三类核心能力，目标用户覆盖LLM应用开发工程师、AI产品经理、NLP算法从业者，可用于对话机器人打磨、RAG系统效果调优、AI生成内容质量管控等多个场景，帮助用户在LLM应用落地过程中建立标准化的迭代流程，降低模型效果验证的人力成本，实现针对特定业务场景的模型性能持续提升。