无GIL适配

SPDL

ai.meta.com

SPDL是Meta Reality Labs推出的可扩展高性能AI数据加载解决方案，核心定位是解决大规模AI模型训练中的数据加载瓶颈问题，核心功能包括基于线程的并行数据加载、Free-Threaded Python兼容适配、无缝对接现有AI训练框架。主要面向AI算法研发人员、大模型训练工程师、机器学习框架开发者，可应用于计算机视觉、自然语言处理、多模态模型等各类AI训练场景，帮助优化训练流程，提升GPU资源利用率。