模型可解释性
aporia.com
Aporia是面向机器学习场景的模型可观测性管理平台，核心定位是帮助团队全生命周期管控ML、LLM及生成式AI模型运行状态，保障模型输出符合预期。平台核心功能包括多维度模型性能监控、异常根因自动分析、LLM输出合规防护三类，同时支持自定义监控规则、多源数据对接等扩展能力。目标用户覆盖机器学习工程师、数据科学家、AI产品经理、企业风控合规人员等，可应用于模型上线前测试验证、上线后实时运行监控、业务异常排查、LLM应用输出合规管控等场景，降低模型故障对业务的影响。
captum.ai
Captum是面向PyTorch生态的开源模型可解释性工具库，专注于帮助开发人员和研究者理解深度神经网络预测结果的生成逻辑，支持多种数据类型的模型解释工作。核心功能涵盖特征归因、神经元 attribution和模型比较，适配图像、文本、表格等主流数据类型的深度学习模型。目标用户包括AI算法研究者、深度学习开发工程师、高校AI方向师生，适合用于模型调试、论文实验验证、算法改进以及模型透明度提升等场景。
censius.ai
Censius是聚焦AI模型全生命周期运维的观测与监控平台，核心目标是帮助企业技术团队掌握AI模型在生产环境中的实际运行状态，降低模型失效带来的业务风险。平台支持模型性能指标实时追踪、异常根因自动定位、模型输出可解释性分析三大核心功能，面向AI算法工程师、数据科学家、机器学习运维工程师、产品负责人及企业技术管理团队，可应用于金融风控模型稳定性维护、电商推荐算法效果调优、自动驾驶感知模型偏差排查、医疗辅助诊断模型合规审计等多个AI落地场景，帮助团队及时发现模型漂移、数据偏差等问题，持续优化模型表现。
mljar.com
MLJAR是面向数据科学领域的综合工具平台，覆盖自动化机器学习、Jupyter Notebook转交互式应用、大模型生成Python图表等核心能力，同时提供机器学习学习资源与项目部署相关功能。平台支持主流机器学习算法对比、模型可解释性分析、公平度指标评估等专业能力，可帮助数据相关从业者降低数据处理与模型开发门槛，适合数据分析师、算法工程师、数据科学学习者在模型训练、成果展示、项目落地、数据可视化等场景中使用。
h2o.ai
H2O Driverless AI是H2O.ai推出的自动化机器学习平台，核心定位是降低机器学习落地门槛，提升数据科学工作流程的自动化程度。平台核心功能包含自动化端到端建模 pipeline 构建、模型可解释性分析、企业级部署支持三大模块，面向数据科学家、业务分析师、企业技术团队等群体，可应用于金融风控、零售用户画像、工业设备故障预测、医疗数据分析等多种场景，帮助团队减少重复性人工操作，聚焦业务问题本身的分析与价值挖掘。