输入关键词搜索 AI 工具、分类,或直接跳转页面
Archgw 是一款面向生成式AI应用开发场景的开源网关产品,核心定位为大语言模型提示词处理与流量调度中间件,基于Envoy架构构建,具备跨语言适配能力。核心功能包括提示词全生命周期治理、多LLM流量智能路由、全链路可观测性监控,可帮助开发者降低GenAI应用与后端大模型服务、业务系统的集成复杂度。目标用户覆盖AI应用开发者、后端架构师、SRE运维工程师等群体,适用于生成式AI应用上线部署、多模型服务调度优化、大模型应用可观测性建设等场景,支持快速部署与无侵入式升级,无需对现有业务代码做大量改造即可接入使用。
访问Archgw官网获取部署资源,可选择下载容器镜像或K8s编排文件,根据自身业务部署环境选择对应的部署方案,完成基础的环境准备与资源配置。
完成网关的基础部署后,访问网关的配置后台,添加需要对接的大语言模型服务地址与认证信息,配置服务的基础调用参数与超时规则。
根据业务需求配置提示词治理规则,包括敏感词过滤规则、提示词模板、参数校验逻辑等,也可配置多模型的路由分发策略与分流权重。
将原有业务应用中的大模型调用地址修改为Archgw网关地址,无需修改其他业务逻辑,完成对接后可先进行小流量测试验证调用链路是否正常。
配置监控与告警规则,对接自身常用的监控系统,查看调用数据看板,后续可根据运行数据持续调整路由与治理规则,优化整体服务表现。
看完教程,直接上手试试
访问 Archgw 官网