输入关键词搜索 AI 工具、分类,或直接跳转页面
LiteLLM是Berri AI推出的大语言模型网关工具,核心定位是帮助开发者统一对接不同厂商的大语言模型服务,适配OpenAI接口格式。核心功能包括跨100+大模型的统一请求适配、调用权限与身份校验管理、多模型负载均衡调度、调用消费明细追踪统计。目标用户覆盖AI应用开发者、企业AI技术团队、MLOps运维人员、AI产品研发团队等,可应用于多模型融合应用开发、企业大模型调用统一管控、AI服务稳定性运维、研发成本核算统计等场景,降低开发者对接不同大模型的适配成本,提升大模型调用的管控效率。
访问LiteLLM官网,根据自身部署需求选择云服务版本或者开源自托管版本,云服务可直接注册账号,自托管版本按照文档指引完成服务部署与初始化配置。
进入控制台的模型管理页面,添加需要对接的大模型厂商,填写对应厂商的API密钥、调用endpoint等信息,保存后即可完成模型接入配置。
进入权限管理页面,根据业务需求创建不同权限的API密钥,设置每个密钥的可调用模型范围、额度限制、访问白名单等规则,分发给对应的开发人员或业务系统。
开发者按照OpenAI接口格式编写请求代码,将接口请求地址替换为LiteLLM的网关地址,使用分配到的LiteLLM API密钥即可发起大模型调用,无需适配不同厂商的接口规则。
进入数据统计页面,可查看不同维度的调用统计、消费明细、错误率等数据,也可导出报表用于成本核算,还可配置告警规则及时接收调用异常通知。
看完教程,直接上手试试
访问 LiteLLM 官网