7.3 KiB
7.3 KiB
商用 LLM 通用转发网关 PRD v1(冻结版)
- 版本:v1.0(冻结稿)
- 日期:2026-03-25
- 文档类型:产品需求文档(冻结版,含执行映射)
- 关联文档:
llm_gateway_competitor_function_business_2026-03-16.mdllm_gateway_product_strategy_roadmap_2026-03-16.mdllm_gateway_subapi_evolution_plan_v4_2_2026-03-24.mdsupply_button_level_prd_v1_2026-03-25.mdsupply_api_contract_openapi_draft_v1_2026-03-25.yamlsupply_ui_test_cases_executable_v1_2026-03-25.md
1. 背景与问题定义
1.1 背景
企业与团队正在同时使用多个 LLM 供应商,常见问题是:
- 调用入口分散,难以统一管理
- 成本快速增长但不可解释
- 供应商波动导致业务不稳定
- 预算、权限、审计缺少统一控制面
1.2 目标问题
构建一个统一网关产品,帮助客户完成:
- 统一接入(降低研发复杂度)
- 统一路由(提升可用性与效率)
- 统一治理(预算、权限、审计)
- 统一经营(成本归因、告警、账单)
1.3 非目标(v0 阶段)
- 不做模型训练与微调平台
- 不做复杂 Agent 工作流编排
- 不做行业化应用层模板市场
2. 用户画像与 JTBD
2.1 角色画像
- 平台管理员(Admin)
- 负责组织级策略、预算、权限
- AI 应用开发者(Developer)
- 负责接入模型与业务落地
- 财务/运营负责人(Ops/FinOps)
- 负责成本追踪、对账与预算控制
2.2 JTBD
- 作为平台管理员,我要在一个控制台里管理团队与 key,确保调用可控。
- 作为开发者,我要用统一 API 调用多个模型,减少改造成本。
- 作为运营负责人,我要按团队/项目看到成本和异常,便于追责与优化。
3. 价值主张与成功标准
3.1 价值主张
- 更简单:统一 API 和统一控制台
- 更可控:预算、限流、回退、审计
- 更省钱:可追踪、可归因、可优化
3.2 成功标准(产品层)
- 首次接入时间:新团队 1 天内完成接入
- 成本可解释率:90%+ 调用可归因到团队/项目
- 预算风控有效率:预算超限前告警命中率 95%+
- 月活团队留存:30 天留存 >= 40%
4. 需求范围与优先级
4.1 P0(首发必须)
- 统一 API 接入
- OpenAI 兼容调用
- 模型目录展示与选择
- 基础路由与稳定性
- 多 provider 负载与 fallback
- 请求重试与错误可见
- 身份与密钥管理
- 组织、团队、API Key 管理
- Key 状态与权限控制
- 预算与配额
- 团队级预算阈值
- 基础限流策略
- 成本看板
- 按团队/模型/时间维度查看调用成本
- 告警与通知
- 预算、错误率、异常波动告警
- 账单导出
- 周期账单汇总与 CSV 导出
4.2 P1(3-6 个月)
- 多角色权限(管理员、开发者、只读)
- 审计日志(策略与 key 变更)
- 项目级成本归因
- 路由策略模板(按场景)
- 可观测增强(失败聚类、异常洞察)
4.3 P2(6-12 个月)
- 企业身份集成(SSO/SAML/OIDC)
- 合规能力包(审计报表、策略模板)
- 更长周期账务与财务对接
- 生态集成(工单/告警/数据平台)
5. 核心用户流程
5.1 流程 1:组织开通与初始化
- 管理员创建组织
- 创建团队与成员
- 设置默认预算与告警阈值
- 生成首个 API Key
验收标准:首次开通流程在 30 分钟内可完成。
5.2 流程 2:开发者接入调用
- 开发者获取组织 API Key
- 替换 base URL 与 key 完成调用
- 在控制台查看请求结果与成本
验收标准:开发者无需修改业务协议即可发起调用。
5.3 流程 3:预算与告警
- 管理员设置预算阈值
- 系统实时监测并触发告警
- 管理员查看告警上下文并调整策略
验收标准:阈值触发后 1 分钟内完成通知。
5.4 流程 4:账单与复盘
- 运营负责人按周期查看账单
- 按团队/模型拆分成本
- 导出账单用于财务核对
验收标准:账单数据和调用数据一致性可验证。
6. 关键产品规则
- 所有请求必须可追踪到组织与团队。
- 预算阈值触发后必须有可操作建议(降级/限流/告警升级)。
- 用户可在同一控制台查看“调用结果 + 成本 + 告警”。
- 策略变更必须可审计(谁、何时、改了什么)。
7. 指标体系(KPI)
7.1 增长指标
- 新增组织数
- 激活团队数(周活/月活)
- 试用转付费转化率
7.2 价值指标
- 受管调用量
- 预算告警命中率
- 成本归因覆盖率
7.3 商业指标
- MRR
- 付费客户数
- 续费率/扩容率
8. 发布计划
8.1 里程碑
- Alpha(内部可用)
- 完成 P0 主流程闭环
- Beta(设计合作伙伴)
- 引入 5-10 家团队试用
- GA(正式发布)
- 推出 Free/Growth 套餐
8.2 发布门槛(Go/No-Go)
- 关键流程无阻塞(开通、调用、预算、账单)
- 数据可追踪与可归因达标
- 客户试用反馈达到最低满意度阈值(内部定义)
9. 依赖与风险
9.1 关键依赖
- 供应商接入稳定性
- 计费与账单口径统一
- 告警渠道与通知系统稳定
- 数据库跨域模型完整(Core/IAM/Auth/Billing/Supply/Audit)
- 依赖版本兼容审计机制可执行(SBOM + 锁文件差异 + 兼容矩阵 + 风险清单)
9.2 主要风险
- 功能边界过宽导致首发延期
- 缺少真实客户数据导致价值表达不足
- 定价方案与客户价值感知不匹配
- 依赖版本漂移导致线上兼容故障
- 阶段门禁不完整导致实现偏离需求主线
9.3 风险缓解
- 坚持 P0 边界,P1/P2 延后
- 以设计合作伙伴反馈驱动迭代
- 发布前完成小规模定价验证访谈
- 将依赖兼容审计和分阶段质量门禁纳入发布前阻断条件
10. 已冻结决策(v1.0 生效)
- 首发主轴:
成本治理 + 合规可审计双主轴并行,不做二选一。 - Growth 套餐核心计价指标:以“受管成本”为主,请求量作为辅助观测指标。
- 企业版首批必含能力(三项):
- SSO/SAML/OIDC 企业身份接入
- 审计报表与策略留痕导出
- 账务争议 SLA 与补偿闭环
- 凭证边界:用户A仅向平台供给上游凭证,用户B仅使用平台凭证,不得获取上游凭证。
11. 需求到执行映射(P0)
| Requirement ID | 需求 | 接口契约 | 测试用例 | 门禁指标 |
|---|---|---|---|---|
| PRD-P0-01 | 供应账号挂载与验证 | POST /api/v1/supply/accounts/verify、POST /api/v1/supply/accounts |
UI-SUP-ACC-001~006 |
M-013/M-014 |
| PRD-P0-02 | 套餐发布与上下架 | POST /api/v1/supply/packages/* |
UI-SUP-PKG-001~006 |
M-011 |
| PRD-P0-03 | 收益结算与提现 | POST /api/v1/supply/settlements/withdraw 等 |
UI-SUP-SET-001~005 |
账务差错率 M-004 |
| PRD-P0-04 | 凭证边界强制约束 | 鉴权与导出相关全部接口 | SEC-SUP-001~002、CB-001~004 |
M-013~M-016 |
12. 术语表
- 受管成本:通过本平台网关记录并可归因的模型调用成本。
- 预算账户:具备独立预算阈值与告警规则的组织单元。
- 成本归因:将调用成本映射到组织/团队/项目/模型维度。