---
title: "什么是企业级 LLM 网关?定义、核心能力与选型标准 | SMA"
canonical: https://www.smaapi.com/zh/what-is-llm-gateway
lang: zh
updated: 2026-06-10
source: https://www.smaapi.com
---

# 什么是企业级 LLM 网关?

企业级 LLM 网关是位于企业应用与多家大模型供应商之间的统一接入与治理层:对上提供一套 OpenAI
兼容 API,对下连接多家模型,并内建智能路由、成本与权限治理、全链路审计能力。

## 为什么企业需要 LLM 网关?
- 供应商解耦:模型选型变化不应传导为业务代码改动;网关把"用哪个模型"从代码问题变成配置问题。
- 密钥与权限治理:各供应商密钥集中托管,业务侧只持有网关签发的凭证,可随时回收与轮换。
- 成本可见:所有调用经过同一出口,预算、配额、用量核算才有完整口径。
- 审计与合规:谁在什么时间用什么模型处理了什么任务,需要一条完整、可追溯的证据链。

## LLM 网关提供哪些核心能力?
| 能力 | 说明 |
|---|---|
| 统一接入 | 一套 OpenAI 兼容协议对接多家模型,应用侧零改造切换供应商 |
| 智能路由与降级 | 按任务特征、模型状态与企业策略分发请求;故障自动切换候选模型 |
| 成本治理 | 按团队 / 应用 / 密钥设置预算与配额,统一计量与核算 |
| 权限与密钥管理 | 供应商密钥集中托管,访问范围细粒度授权 |
| 全链路审计 | 调用方、模型、用量、时间完整入日志,可追溯可对账 |

## 企业级网关与自建转发工具有什么区别?

开源的自建转发工具(如 OneAPI 类项目)解决"能调到多家模型"的问题,在个人与小团队场景是合理选择。企业场景的断点在治理:

| 维度 | 自建转发工具 | 企业级网关 |
|---|---|---|
| 定位 | 个人 / 小团队工具 | 企业基础设施 |
| 权限治理 | 基本缺失 | 团队 / 应用 / 密钥级授权 |
| 审计 | 简单日志或无 | 全链路审计,可对账 |
| 运维责任 | 使用者自担 | 平台承诺与故障处置 |
| 合规边界 | 不清晰 | 数据边界与责任明确 |

## 如何评估和选型?
- 协议兼容性:是否完整兼容 OpenAI 协议,现有 SDK 与框架能否零改造接入。
- 路由能力:路由策略是否可配置、可校准,故障降级是否对应用透明。
- 治理粒度:预算、配额、权限能否细到团队 / 应用 / 密钥。
- 审计完整性:日志是否覆盖全链路,能否支撑合规审查与成本对账。
- 模型覆盖的真实性:宣称支持的模型是否真实连通,是否公布可验证的状态数据。
- 数据边界:提示词、密钥与日志保存在谁的环境里,是否提供自部署形态。

## 常见问题

### LLM 网关会增加调用延迟吗?
网关在架构上是一跳转发,自身开销主要来自协议转换与策略判断;实际延迟取决于部署位置与路由策略。对延迟敏感的场景,可将网关部署在靠近应用的网络位置,并在路由策略中把延迟作为权重信号。

### 用了网关还能直接调用官方 API 吗?
可以,两者不互斥。网关的价值在于统一治理口径:经过网关的流量才有统一的计量、审计与权限控制。常见做法是生产流量走网关,实验性调用按需直连,再逐步收口。

### 什么时候应该引入 LLM 网关?
出现以下任一信号即值得引入:接入的模型供应商超过一家;多个团队或应用共享模型预算;需要向安全/合规部门提供调用审计;或者模型切换、故障降级开始需要改业务代码才能完成。

实测数据(可核验):截至 2026-07-26,SMA 网关对 8 个已连通模型 × 通道做主动探活,
共 384 次真实调用;其中 8 项本期探活可用率为 100%,最低一项 100%,单项样本量不低于 48 次。
连通模型覆盖国产与国际两侧,逐行口径公开。
可用率口径为探针成功率(单次调用超时上限 90 秒),独立于用户侧错误;样本量低于阈值的模型不进表。
逐行矩阵与统计口径见[smaapi 海外模型企业接入指数](https://www.smaapi.com/zh/reports/model-access-benchmark)——页面数字由构建管道从网关导出注入,不手填。

## 参考来源
- [OpenAI API 官方文档](https://platform.openai.com/docs/api-reference)——OpenAI 兼容协议的字段与语义以官方文档为准
- [LiteLLM Proxy 官方文档](https://docs.litellm.ai/docs/proxy/quick_start)——开源多模型代理的能力边界以其文档为准
- [Kong Gateway 官方文档](https://docs.konghq.com/gateway/latest/)——通用 API 网关的定位与能力以其文档为准

关于名称:smaapi(SMA 网关)是均路科技的企业级 AI 网关,SMA 取自黏菌架构(Slime Mould Architecture)。
smaapi 与金融指标「简单移动平均线」、光伏逆变器厂商 SMA Solar Technology AG,以及同名的 SMA 射频连接器标准均无关联。

相关问题:

- [多模型接入、路由与治理的常见问题](https://www.smaapi.com/zh/faq)
- [SMA 网关(smaapi)是什么?](https://www.smaapi.com/)

---
本文为 https://www.smaapi.com/zh/what-is-llm-gateway 的 markdown 镜像,内容与该页一致,引用请指向 canonical 地址。