AI可解释性

Captum

captum.ai

Captum是面向PyTorch生态的开源模型可解释性工具库，专注于帮助开发人员和研究者理解深度神经网络预测结果的生成逻辑，支持多种数据类型的模型解释工作。核心功能涵盖特征归因、神经元 attribution和模型比较，适配图像、文本、表格等主流数据类型的深度学习模型。目标用户包括AI算法研究者、深度学习开发工程师、高校AI方向师生，适合用于模型调试、论文实验验证、算法改进以及模型透明度提升等场景。

SliderSpace

sliderspace.baulab.info

SliderSpace是由BAU实验室推出的扩散模型能力分析与交互工具，核心定位是为AI生成图像研究人员、开发者提供可视化的扩散模型内部机制解析途径。其核心功能包括通过可调节滑块拆解扩散模型不同视觉生成维度的权重、实时预览参数调整后的图像生成效果、导出模型不同层的激活特征数据。目标用户覆盖AI生成图像研究人员、计算机视觉方向学生、扩散模型开发者、AI艺术创作者等群体，可应用于扩散模型可解释性研究、生成参数调优、AI生成内容可控性实验、模型能力对比测试等多种场景。