LLM管理

Higress.AI

higress.ai

Higress.AI是面向AI原生场景打造的开源API网关，专注于AI Agent开发与大语言模型（LLM）API管理服务。平台提供统一的流量管控、多模型路由、token用量统计等核心能力，支持开发者将不同来源的LLM接口统一接入管理，降低AI应用开发的复杂度。核心功能覆盖多LLM提供商聚合、请求路由分发、访问权限管控、流量控制以及可观测性数据统计，适合AI应用开发团队、AI Agent创业者、企业AI部门等群体使用，可满足AI应用上线前接口统一管理、生产环境流量管控、多模型调度开发等场景需求。

LLM Gateway

llmgateway.io

LLM Gateway是一个面向开发团队和企业开发者的LLM请求统一管理平台，核心定位为集中处理不同大语言模型的API请求，提供路由、管理与全链路分析服务。平台支持将分散在多个大语言模型供应商的API请求统一接入，通过统一接口简化开发流程，同时提供请求日志存储、性能监控、成本统计等功能，可以帮助团队降低多模型集成的开发复杂度，更高效地管理大模型应用的API调用流程。目标用户涵盖企业AI开发团队、SaaS产品开发者、AI应用架构师，适用于多模型LLM应用开发、企业内部AI工具搭建、大模型调用成本管控等多种场景。