跨模态学习

hertz-dev

si.inc

hertz-dev是Standard Intelligence推出的开源音频变换器基础模型站点，核心定位为面向音频处理领域的开源技术研究平台，提供85亿参数规模的全双工仅音频变换器模型能力。核心功能包括音频编码转换服务，可将16kHz单声道语音转换为8Hz低比特率潜在表示；支持模型微调工具集，方便研究人员基于现有模型适配特定场景；提供完整的技术文档与开源协作社区，助力跨模态音频学习技术落地。目标用户覆盖AI音频领域研究人员、语音技术开发工程师、跨模态学习相关科研团队，适用于低带宽语音传输场景开发、音频特征提取研究、多模态大模型音频模块搭建等多元场景。

Spirit LM

speechbot.github.io

Spirit LM是由研究团队推出的基础多模态语言模型，核心定位是实现文本与语音模态的自由混合交互。核心功能包括文本语音统一令牌流处理、少样本跨模态任务适配，以及两种不同特性的版本选择适配不同需求。目标用户涵盖自然语言处理研究人员、语音技术开发人员、多模态应用开发者、AI模型研究学习者等群体。使用场景包括语音识别模型优化、语音合成方案研发、多模态对话系统搭建、语音情感分析项目开发、跨模态任务迁移研究等多个方向，可帮助用户探索文本与语音模态融合的技术落地路径。