niuniu/lijiaoqiao
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
fd2322cd2bfd3182382477f0707c0c15030c99ee
lijiaoqiao/docs/llm_gateway_competitor_function_business_2026-03-16.md
Your Name 0e5ecd930e chore: initial public snapshot for github upload
2026-03-26 20:06:14 +08:00

20 KiB
Raw Blame History

商用 LLM 通用转发网关竞品全景调研（功能清单 + 商业模型 + 技术优劣）

  • 版本：v1.0（可评审版）
  • 日期：2026-03-16
  • 阶段定位：产品与市场阶段（非技术实现设计）
  • 适用对象：产品负责人、商业负责人、技术管理层、投融资材料准备

0. 阶段声明

本文档用于回答“是否值得做、怎么切入、先做什么”三类问题。

本阶段不展开数据库、服务拆分、接口实现细节；仅输出：

  1. 竞品功能清单与覆盖差异
  2. 竞品商业模型与定价逻辑
  3. 技术能力优劣（平台成熟度层面）
  4. 我方可执行的产品切入与机会空白

1. 研究边界与方法

1.1 目标产品定义

目标产品是“商用 LLM 通用转发网关”，核心能力是：

  1. 多模型统一接入（OpenAI 兼容/原生协议）
  2. 路由与回退（成本、延迟、可用性、多策略）
  3. 治理与风控（预算、配额、权限、审计）
  4. 可观测与经营（成本看板、告警、账单、归因）

1.2 样本分层

本次样本分三层：

  1. 商业化 AI 网关（直接竞争）：OpenRouter、Portkey、Cloudflare AI Gateway、Helicone、Kong AI Gateway
  2. 开源网关（价格天花板竞争）：LiteLLM OSS、One-API、New-API、Sub2API
  3. 云厂商平台（替代竞争）：AWS Bedrock、Google Vertex AI、Azure AI

1.3 信息来源原则

  1. 优先官方文档、官方定价页、官方仓库/官方 API
  2. 对无法完全核验的字段，标注“公开信息未完全披露”
  3. 开源热度采用 GitHub 官方 API（2026-03-16 当天采集）

2. 竞品分层与定位地图

层级 代表产品 主要购买方 主要卖点 主要短板/风险
商业 AI 网关 OpenRouter / Portkey / Cloudflare / Helicone / Kong AI 团队、平台团队、企业采购 快速上线、平台化治理、SLA/支持 价格与锁定、功能边界受平台约束
开源网关 LiteLLM OSS / One-API / New-API / Sub2API 成本敏感团队、DevOps 能力团队 零 license、可控可改、上线快 运维/合规/SLA 自担
云厂商替代 Bedrock / Vertex / Azure AI 已重度上云企业 合规与采购便利、生态整合 跨云治理弱、迁移成本高

3. 核心竞品标准化卡片（商业 + 开源）

3.1 OpenRouter

  • 定位：多模型聚合与交易型路由平台，强调“统一 API + 提升可用性”。
  • 目标客户：独立开发者、中小团队、需要快速接入多模型的产品团队。
  • 关键能力：
    1. 提供 provider routing（排序、fallback、参数兼容约束）
    2. 支持按价格/延迟/吞吐路由偏好
    3. 支持 BYOK 与数据策略控制字段
  • 商业模型：
    1. 推理价格按上游透传
    2. 充值时收取平台费（FAQ 公布 5.5%，最低 0.8 美元）
    3. BYOK 超阈值后按比例收取服务费
  • 优势：模型覆盖广、接入速度快、路由能力产品化强。
  • 短板：企业私有化与深度合规能力相对有限，采购链路偏“开发者自助”。

3.2 Portkey

  • 定位：AI Gateway + Guardrails + Observability 一体化生产平台。
  • 目标客户：中大型 AI 团队、强调治理与生产稳定性的组织。
  • 关键能力：
    1. 配置化路由（负载、回退、可组合策略）
    2. 观测、告警、策略控制、治理能力并列提供
    3. 强调组织级运营能力（跨项目管理）
  • 商业模型：
    1. 公开套餐化（官网展示免费/成长/企业路径）
    2. 企业合同与支持服务并行
    3. 常见模式为平台订阅 + 用量增长
  • 优势：功能面完整，偏“生产控制台”而非单纯转发器。
  • 短板：对小团队可能偏重，学习和治理配置复杂度高于轻量网关。

3.3 Cloudflare AI Gateway

  • 定位：依托 Cloudflare 网络边缘能力的 AI 网关与观测层。
  • 目标客户：已使用 Cloudflare 的开发团队与企业平台团队。
  • 关键能力：
    1. OpenAI 兼容统一端点
    2. 日志、缓存、限流、重试与回退
    3. 动态路由（条件、比例、预算限制、版本管理）
  • 商业模型：
    1. 核心功能免费（文档明确）
    2. 持久日志与 Logpush 基于配额/计划计费
    3. 企业版价格走客户经理/合同
  • 优势：边缘网络与全球可用性、与现有 Cloudflare 体系集成紧密。
  • 短板：跨云中立能力虽有，但企业常会被其生态绑定。

3.4 Helicone

  • 定位：LLM 观测与成本优化平台，内含网关能力。
  • 目标客户：先监控再治理的成长型 AI 团队。
  • 关键能力：
    1. 请求级追踪、分析、评估
    2. 网关能力（缓存、限流、fallback 等）
    3. 注重成本可视化与运营闭环
  • 商业模型：
    1. 公开分层：Hobby 免费、Pro/Team/Enterprise
    2. 座席 + 用量计费并行
    3. 企业版提供 SSO、私有化、合同能力
  • 优势：观测产品成熟、上手快、性价比高。
  • 短板：在“企业级治理深度”上通常弱于重平台化网关。

3.5 Kong AI Gateway

  • 定位：从 API Gateway 领军平台延展至 AI 流量治理与安全。
  • 目标客户：大型企业、已有 API 平台治理基础的组织。
  • 关键能力：
    1. Universal API（多模型统一接入）
    2. AI 插件体系（安全、治理、路由、观测、RAG 注入）
    3. 企业级身份、审计、控制面整合
  • 商业模型：
    1. 平台订阅（Konnect Plus/Enterprise）
    2. AI 能力作为 add-on 或模型代理配额收费
    3. 企业合同主导
  • 优势：企业采购成熟、治理与安全体系完整、组织落地能力强。
  • 短板：成本和引入门槛较高，中小团队早期采用摩擦大。

3.6 LiteLLM OSS / Enterprise

  • 定位：开发者友好的多模型统一 SDK + Proxy（OpenAI 兼容）。
  • 目标客户：平台工程团队、希望自建网关的组织。
  • 关键能力：
    1. 多 provider 统一调用与代理
    2. 虚拟 Key、预算、团队治理、回退与负载
    3. 企业版补充 SSO/SCIM/JWT/支持服务
  • 商业模型：
    1. OSS 免费（MIT）
    2. Enterprise 合同收费（SaaS 或自管）
  • 优势：生态活跃、扩展快、可作为自建底座。
  • 短板：OSS 到企业级落地仍需工程投入，复杂场景需要二次治理。

3.7 One-API（开源）

  • 定位：经典 API 聚合与二次分发系统。
  • 目标客户：预算敏感、追求快速上线的团队。
  • 关键能力：
    1. 多模型统一入口
    2. 基础分发与额度管理
    3. 部署简单、社区基础大
  • 商业模型：开源为主（MIT）。
  • 优势：部署快、学习成本低。
  • 短板：高级调度、企业治理、可观测深度相对有限。

3.8 New-API（开源）

  • 定位：高活跃多协议聚合平台，强调 OpenAI/Claude/Gemini 兼容。
  • 目标客户：需要多协议快速接入的中小团队。
  • 关键能力：
    1. 协议覆盖广
    2. 预扣/结算计费链路、重试与通道治理
    3. 高迭代发布节奏
  • 商业模型：开源为主，AGPLv3。
  • 优势：功能覆盖广、更新频繁。
  • 短板：AGPL 合规约束对闭源商用影响显著。

3.9 Sub2API（开源，高增长）

  • 定位：面向订阅配额分发的 AI API Gateway。
  • 目标客户：对成本非常敏感、希望快速中转的团队。
  • 关键能力：
    1. 多账户/多 key/精细计费
    2. 调度策略较深（会话粘性 + 负载）
    3. 运营控制面完整度在开源项目中较强
  • 商业模型：开源（MIT），以社区传播驱动。
  • 优势：增长快、调度与运营字段较完整。
  • 短板：企业合规、条款风险、商业支持体系需自担。

4. 竞品功能清单（54 项）

说明：以下为“商用 LLM 网关”功能全景清单，按产品能力域分组。建议你们把它作为 PRD 功能池与版本裁剪基线。

4.1 接入与协议（A01-A10）

ID 功能项 业务价值
A01 OpenAI 兼容接口 降低迁移成本
A02 原生协议透传（Anthropic/Gemini 等） 覆盖更多场景
A03 多模型统一模型目录 减少模型选择成本
A04 多 provider 凭证管理 支持多供应商并行
A05 BYOK（自带上游 Key） 满足企业合规与成本控制
A06 统一 SDK/客户端 降低接入复杂度
A07 流式输出兼容 保障交互体验
A08 多模态接口支持（图像/音频） 拓展业务边界
A09 批处理接口 降本增效
A10 模型能力标签（上下文、工具调用、响应格式） 提高路由准确率

4.2 路由与弹性（R01-R10）

ID 功能项 业务价值
R01 基础负载均衡 提升吞吐稳定性
R02 主备回退链 提升可用性
R03 重试策略（指数退避） 降低瞬时失败
R04 会话粘性路由 保障上下文连续性
R05 按成本排序路由 降低单位调用成本
R06 按延迟排序路由 优化用户体验
R07 按吞吐排序路由 优化批量任务效率
R08 条件路由（用户分层/场景） 精细化运营
R09 灰度/比例路由（A/B） 降低模型切换风险
R10 熔断与自动恢复 避免故障扩散

4.3 治理与安全（G01-G10）

ID 功能项 业务价值
G01 多租户隔离 支持企业组织结构
G02 RBAC 权限模型 降低误操作风险
G03 API Key 生命周期管理 保障密钥安全
G04 SSO/OIDC/SAML 企业集成必备
G05 审计日志 满足审计与追责
G06 敏感信息脱敏/PII 处理 合规要求
G07 模型白名单/黑名单 规范调用范围
G08 提示词防护/内容安全 降低安全与品牌风险
G09 区域与数据边界策略 满足数据驻留要求
G10 策略版本与回滚 降低配置变更风险

4.4 成本与计费（C01-C08）

ID 功能项 业务价值
C01 请求级 token 成本核算 精准经营
C02 预扣-结算-退款链路 账实一致
C03 预算（租户/团队/key） 防止失控消费
C04 配额周期管理（日/周/月） 可运营化控制
C05 成本归因（项目/用户/功能） ROI 分析
C06 成本告警（阈值/异常） 及时止损
C07 成本优化建议（模型替代） 持续降本
C08 发票/账单导出 财务对账

4.5 可观测与运维（O01-O08）

ID 功能项 业务价值
O01 请求日志检索 故障排查
O02 成功率/延迟监控 SLA 管理
O03 模型级性能对比 路由优化
O04 Trace 级链路追踪 定位瓶颈
O05 自定义标签/元数据 业务分析
O06 告警中心（邮件/IM/Webhook） 快速响应
O07 仪表盘与运营看板 管理层可视化
O08 长期日志归档与检索 审计与复盘

4.6 生态与交付（E01-E08）

ID 功能项 业务价值
E01 SaaS 部署 快速上线
E02 私有化部署 满足合规
E03 混合部署 平衡灵活与安全
E04 Terraform/声明式配置 平台工程标准化
E05 Webhook/事件订阅 与业务系统联动
E06 插件机制 可扩展能力
E07 SIEM/Observability 集成 融合企业工具链
E08 商业支持与 SLA 降低生产风险

5. 关键能力覆盖矩阵（P0 级 20 项）

说明：✅=公开明确支持，◐=部分/需组合实现，-=未见公开明确说明。

功能 OpenRouter Portkey Cloudflare Helicone Kong LiteLLM OSS One-API New-API Sub2API
OpenAI 兼容接口 ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
多 provider 路由 ✅ ✅ ✅ ◐ ✅ ✅ ◐ ✅ ✅
自动 fallback ✅ ✅ ✅ ✅ ✅ ✅ ◐ ✅ ✅
负载均衡 ◐ ✅ ✅ ◐ ✅ ✅ ◐ ✅ ✅
BYOK ✅ ✅ ✅ ◐ ✅ ✅ ◐ ◐ ◐
缓存 ◐ ✅ ✅ ✅ ✅ ✅ ◐ ◐ ◐
限流 ◐ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
预算管理 ◐ ✅ ✅（动态路由预算节点） ◐ ✅ ✅ ◐ ✅ ✅
成本看板 ✅ ✅ ✅ ✅ ✅ ✅ ◐ ✅ ✅
组织/团队管理 ◐ ✅ ◐ ✅ ✅ ✅ ◐ ✅ ✅
SSO/SAML/OIDC 企业版 企业版 Cloudflare 体系 企业版 企业版 企业版 - - -
审计日志 ◐ ✅ ✅ ✅ ✅ 企业版 - ◐ ◐
可观测追踪 ✅ ✅ ✅ ✅ ✅ ✅ ◐ ✅ ✅
灰度/比例路由 ◐ ✅ ✅ ◐ ✅ ◐ - ◐ ◐
数据策略/隐私控制 ✅ ✅ ✅ ✅ ✅ ◐ - ◐ ◐
策略可组合 ◐ ✅ ✅ ◐ ✅ ◐ - ◐ ◐
私有化部署 - 可选 - 企业版 ✅ ✅ ✅ ✅ ✅
插件/扩展能力 ◐ ◐ ◐ ◐ ✅ ✅ ◐ ✅ ✅
企业 SLA 支持 企业版 ✅ ✅ ✅ ✅ 企业版 - - -
合规能力（SOC2/HIPAA 等） ◐ 企业版 Cloudflare 体系 Team/Enterprise 提供 企业版 企业版 - - -

6. 商业模型矩阵（重点）

6.1 模型类型

商业模型 代表玩家 收费逻辑 对客户吸引点 对我方的启示
推理透传 + 平台费 OpenRouter 模型价透传，充值/服务费 成本透明、上手快 可作为“低摩擦入口”模型
订阅 + 用量 Helicone、Portkey（常见） 基础套餐 + 请求/存储/事件增量 可预测支出 + 可扩展 适合 SaaS 中腰部客户
平台订阅 + AI Add-on Kong 基础平台 + AI 模块附加 企业治理统一采购 高客单价但销售周期长
云生态捆绑计费 Cloudflare 计划配额 + 增量特性计费 与现有云资源整合 强生态对抗靠跨云中立
开源免费 + 企业授权 LiteLLM OSS 免费，企业版收费 先试后买、开发者友好 建议采用双轮驱动策略
开源自建 One-API/New-API/Sub2API license 免费，运维自担 最低软件成本 迫使商用版必须提供“非代码价值”

6.2 定价指标（行业常见）

  1. 按请求量（requests）
  2. 按日志事件/存储量（logs/events/storage）
  3. 按模型代理数（model proxy）
  4. 按组织/座席（org/seats）
  5. 按账单量或平台分润（billing volume/fee）
  6. 按企业功能包（SSO/审计/私有化/SLA）

6.3 商业模型优劣

模式 优点 缺点 适配阶段
纯加价分润 规则简单、现金流快 同质化强、被价格战击穿 不建议作为主模式
纯订阅 收入稳定、可预测 初期成交门槛高 中后期可强化
混合（BYOK + 订阅 + 企业年约） 可兼顾增长与利润 产品和销售复杂度更高 建议主路径

7. 技术优劣（平台成熟度视角）

评分范围：1（弱）-5（强），用于商业判断，不代表代码质量绝对值。

维度 OpenRouter Portkey Cloudflare Helicone Kong LiteLLM One-API New-API Sub2API
接入广度 5 5 4 4 5 5 4 5 4
路由策略深度 5 5 4 3 5 4 3 4 4
成本治理能力 4 5 4 4 4 4 3 4 4
企业治理能力 3 5 4 4 5 4 2 3 3
可观测成熟度 4 5 4 5 5 4 2 4 4
部署灵活性 2 4 2 4 5 5 5 5 5
合规与采购友好 3 4 5 4 5 4 2 2 2
生态与渠道能力 4 4 5 3 5 4 3 3 3

关键观察

  1. 商业化赛道中，Portkey/Kong 更偏“企业治理平台”；OpenRouter 更偏“交易聚合路由”。
  2. Cloudflare 的边缘与平台集成强，但跨云中立价值是其薄弱环节。
  3. Helicone 在观测与运营视角强，适合作为“先观测后治理”的切入。
  4. 开源赛道在“基础能力”上已足够成熟，商业产品必须强化治理、合规、SLA、组织协同价值。

8. 开源项目运营信号（GitHub 官方 API）

采样时间：2026-03-16。

项目 Star Fork License 最近推送 备注
LiteLLM 39,228 6,434 MIT（仓库 API 显示 NOASSERTION，仓库内 LICENSE 为 MIT） 2026-03-16 社区与生态最强
One-API 30,599 5,838 MIT 2026-01-09 中文社区影响力大
New-API 21,019 4,067 AGPLv3 2026-03-16 高活跃，高合规约束
Sub2API 5,915 894 MIT 2026-03-16 增长快，运营导向明显

9. 机会空白（可用于你们产品定位）

9.1 市场尚未被充分满足的需求

  1. 多租户 FinOps 自动化：不仅展示成本，还要自动给出路由降本建议并可回放验证。
  2. 业务语义路由：按“场景目标（准确率/速度/预算）”驱动路由，而非仅按模型名。
  3. 财务对账闭环：预算、账单、团队归因、异常追责一体化。
  4. 合规策略模板：按行业（金融/医疗/出海）提供可落地策略包。
  5. “开源友好 + 企业可升级”：让技术团队先低成本接入，再平滑升级到企业治理版。

9.2 建议定位语（可选）

“不是另一个 API 转发器，而是企业 AI 成本与治理控制面。”

10. 对你项目的可执行结论

  1. 基础接入和转发能力不是壁垒，必须用“治理 + FinOps + 合规”打差异化。
  2. 商业模型建议从第一天就采用混合：
    • 自助版（BYOK + 免费额度）
    • 增长版（订阅 + 用量）
    • 企业版（年约 + 私有化 + SLA）
  3. 首发版本不要追“模型最多”，而要追“企业采购可解释价值”：
    • 成本可控
    • 风险可控
    • 责任可追溯

11. 下一轮补充调研（建议 2 周内）

  1. 客户访谈：
    • 10 家中型 AI 团队（技术负责人）
    • 5 家企业安全/合规负责人
  2. 商务访谈：
    • 5 位有采购权的 IT/平台负责人
  3. 定价调研：
    • 做一轮 Van Westendorp（100+ 样本）
    • 验证“按组织 + 按请求 + 企业功能包”接受度
  4. 竞品实测：
    • 选 3 家商业网关做 2 周试运行
    • 对比接入时长、治理能力、成本可解释性

12. 参考来源（官方优先）

Reference in New Issue View Git Blame Copy Permalink