Files
lijiaoqiao/docs/llm_gateway_prd_v0_2026-03-16.md
2026-03-26 20:06:14 +08:00

5.9 KiB
Raw Blame History

商用 LLM 通用转发网关 PRD v0产品版

状态说明:本文件为历史评审稿,当前生效版本为 llm_gateway_prd_v1_2026-03-25.md

  • 版本v0.1(评审稿)
  • 日期2026-03-16
  • 文档类型:产品需求文档(不含实现细节)
  • 关联文档:
    • llm_gateway_competitor_function_business_2026-03-16.md
    • llm_gateway_product_strategy_roadmap_2026-03-16.md

1. 背景与问题定义

1.1 背景

企业与团队正在同时使用多个 LLM 供应商,常见问题是:

  1. 调用入口分散,难以统一管理
  2. 成本快速增长但不可解释
  3. 供应商波动导致业务不稳定
  4. 预算、权限、审计缺少统一控制面

1.2 目标问题

构建一个统一网关产品,帮助客户完成:

  1. 统一接入(降低研发复杂度)
  2. 统一路由(提升可用性与效率)
  3. 统一治理(预算、权限、审计)
  4. 统一经营(成本归因、告警、账单)

1.3 非目标v0 阶段)

  1. 不做模型训练与微调平台
  2. 不做复杂 Agent 工作流编排
  3. 不做行业化应用层模板市场

2. 用户画像与 JTBD

2.1 角色画像

  1. 平台管理员Admin
    • 负责组织级策略、预算、权限
  2. AI 应用开发者Developer
    • 负责接入模型与业务落地
  3. 财务/运营负责人Ops/FinOps
    • 负责成本追踪、对账与预算控制

2.2 JTBD

  1. 作为平台管理员,我要在一个控制台里管理团队与 key确保调用可控。
  2. 作为开发者,我要用统一 API 调用多个模型,减少改造成本。
  3. 作为运营负责人,我要按团队/项目看到成本和异常,便于追责与优化。

3. 价值主张与成功标准

3.1 价值主张

  1. 更简单:统一 API 和统一控制台
  2. 更可控:预算、限流、回退、审计
  3. 更省钱:可追踪、可归因、可优化

3.2 成功标准(产品层)

  1. 首次接入时间:新团队 1 天内完成接入
  2. 成本可解释率90%+ 调用可归因到团队/项目
  3. 预算风控有效率:预算超限前告警命中率 95%+
  4. 月活团队留存30 天留存 >= 40%

4. 需求范围与优先级

4.1 P0首发必须

  1. 统一 API 接入
    • OpenAI 兼容调用
    • 模型目录展示与选择
  2. 基础路由与稳定性
    • 多 provider 负载与 fallback
    • 请求重试与错误可见
  3. 身份与密钥管理
    • 组织、团队、API Key 管理
    • Key 状态与权限控制
  4. 预算与配额
    • 团队级预算阈值
    • 基础限流策略
  5. 成本看板
    • 按团队/模型/时间维度查看调用成本
  6. 告警与通知
    • 预算、错误率、异常波动告警
  7. 账单导出
    • 周期账单汇总与 CSV 导出

4.2 P13-6 个月)

  1. 多角色权限(管理员、开发者、只读)
  2. 审计日志(策略与 key 变更)
  3. 项目级成本归因
  4. 路由策略模板(按场景)
  5. 可观测增强(失败聚类、异常洞察)

4.3 P26-12 个月)

  1. 企业身份集成SSO/SAML/OIDC
  2. 合规能力包(审计报表、策略模板)
  3. 更长周期账务与财务对接
  4. 生态集成(工单/告警/数据平台)

5. 核心用户流程

5.1 流程 1组织开通与初始化

  1. 管理员创建组织
  2. 创建团队与成员
  3. 设置默认预算与告警阈值
  4. 生成首个 API Key

验收标准:首次开通流程在 30 分钟内可完成。

5.2 流程 2开发者接入调用

  1. 开发者获取组织 API Key
  2. 替换 base URL 与 key 完成调用
  3. 在控制台查看请求结果与成本

验收标准:开发者无需修改业务协议即可发起调用。

5.3 流程 3预算与告警

  1. 管理员设置预算阈值
  2. 系统实时监测并触发告警
  3. 管理员查看告警上下文并调整策略

验收标准:阈值触发后 1 分钟内完成通知。

5.4 流程 4账单与复盘

  1. 运营负责人按周期查看账单
  2. 按团队/模型拆分成本
  3. 导出账单用于财务核对

验收标准:账单数据和调用数据一致性可验证。

6. 关键产品规则

  1. 所有请求必须可追踪到组织与团队。
  2. 预算阈值触发后必须有可操作建议(降级/限流/告警升级)。
  3. 用户可在同一控制台查看“调用结果 + 成本 + 告警”。
  4. 策略变更必须可审计(谁、何时、改了什么)。

7. 指标体系KPI

7.1 增长指标

  1. 新增组织数
  2. 激活团队数(周活/月活)
  3. 试用转付费转化率

7.2 价值指标

  1. 受管调用量
  2. 预算告警命中率
  3. 成本归因覆盖率

7.3 商业指标

  1. MRR
  2. 付费客户数
  3. 续费率/扩容率

8. 发布计划

8.1 里程碑

  1. Alpha内部可用
    • 完成 P0 主流程闭环
  2. Beta设计合作伙伴
    • 引入 5-10 家团队试用
  3. GA正式发布
    • 推出 Free/Growth 套餐

8.2 发布门槛Go/No-Go

  1. 关键流程无阻塞(开通、调用、预算、账单)
  2. 数据可追踪与可归因达标
  3. 客户试用反馈达到最低满意度阈值(内部定义)

9. 依赖与风险

9.1 关键依赖

  1. 供应商接入稳定性
  2. 计费与账单口径统一
  3. 告警渠道与通知系统稳定

9.2 主要风险

  1. 功能边界过宽导致首发延期
  2. 缺少真实客户数据导致价值表达不足
  3. 定价方案与客户价值感知不匹配

9.3 风险缓解

  1. 坚持 P0 边界P1/P2 延后
  2. 以设计合作伙伴反馈驱动迭代
  3. 发布前完成小规模定价验证访谈

10. 待决策问题(评审会需拍板)

  1. 首发主打“成本治理”还是“治理合规”?
  2. Growth 套餐核心计价指标采用“请求量”还是“受管成本”?
  3. 企业版首批必须包含的三项能力是什么?

11. 术语表

  1. 受管成本:通过本平台网关记录并可归因的模型调用成本。
  2. 预算账户:具备独立预算阈值与告警规则的组织单元。
  3. 成本归因:将调用成本映射到组织/团队/项目/模型维度。