大模型网关

LiteLLM

litellm.ai

LiteLLM是Berri AI推出的大语言模型网关工具，核心定位是帮助开发者统一对接不同厂商的大语言模型服务，适配OpenAI接口格式。核心功能包括跨100+大模型的统一请求适配、调用权限与身份校验管理、多模型负载均衡调度、调用消费明细追踪统计。目标用户覆盖AI应用开发者、企业AI技术团队、MLOps运维人员、AI产品研发团队等，可应用于多模型融合应用开发、企业大模型调用统一管控、AI服务稳定性运维、研发成本核算统计等场景，降低开发者对接不同大模型的适配成本，提升大模型调用的管控效率。