推理优化
bentoml.com
BentoML是聚焦AI模型部署与服务化的开发平台，核心定位是帮助开发者将训练完成的AI模型快速打包为可生产部署的标准化服务。平台支持多框架模型统一打包、自动生成API接口、K8s集群原生适配三大核心功能，目标用户覆盖AI算法工程师、后端开发人员、DevOps运维人员、企业AI团队负责人，可用于大语言模型服务部署、计算机视觉模型上线、推荐系统模型迭代等多个生产场景，降低AI模型从实验室到生产环境的落地门槛。
devblogs.microsoft.com
DirectML是微软推出的面向Windows平台的机器学习底层API，核心定位是为各类硬件加速器提供统一的抽象适配层，降低AI功能在Windows生态内的集成门槛。核心功能包含多硬件统一适配能力，支持DirectX 12兼容的GPU、NPU等异构计算设备接入，开发者无需针对不同硬件编写差异化驱动适配代码；内置丰富的算子库，覆盖图像识别、自然语言处理、大模型推理等主流AI任务的算子需求；支持与现有主流机器学习框架无缝对接，可直接适配PyTorch、TensorFlow等工具的工作流。目标用户覆盖Windows平台AI应用开发者、硬件驱动开发人员、游戏AI功能开发工程师、边缘AI部署工程师等。适用于桌面端AI应用开发、游戏内AI功能嵌入、端侧大模型推理优化、硬件厂商加速器适配开发等多种场景。
dllm-reasoning.github.io
d1是基于扩散大语言模型打造的推理能力增强模型服务站点，核心是通过强化学习与高质量推理轨迹掩蔽自监督微调技术，优化大模型推理表现。站点支持多场景推理任务测试、推理过程可视化、自定义推理参数调整等功能，同时提供模型调用接口与应用部署方案，可适配学术研究、内容创作、逻辑分析等不同领域需求。目标用户覆盖AI研究人员、内容创作者、企业技术开发人员、学生群体等，可用于提升复杂问题推导效率、优化长文本创作逻辑、降低大模型推理部署计算成本等场景。