xingxing/llm-intelligence
1
0
Fork 0
forked from niuniu/llm-intelligence
Code Pull Requests Activity
Files
c34bfd5076e03d28309b8a54c66a3797ebe77440
llm-intelligence/PRD.md

373 lines
15 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# LLM Intelligence Hub — 产品需求文档 v0.2
> 文档版本：v0.2（全面升级版）
> 日期：2026-05-03
> 负责人：宰相（AI 辅助）
> 状态：初稿，征询中
---
## 一、产品概述
### 1.1 背景
**大模型市场竞争格局**：
- **中国**：百度 ERNIE、阿里 Qwen、腾讯 Hunyuan、字节 Doubao、DeepSeek、智谱 GLM、华为 Pangu、讯飞 Spark、Moonshot Kimi、零一万物 Yi、MiniMax、商汤 SenseChat 等
- **海外**：OpenAI GPT 系列、Anthropic Claude、Google Gemini、Meta Llama、xAI Grok、Mistral 等
- **云平台**：阿里云、腾讯云、百度云、华为云、火山引擎（字节）等国内平台；AWS Bedrock、Azure OpenAI、Google Cloud 等海外平台
- **中转聚合**：硅基流动（SiliconFlow）、OpenRouter、Together AI、Groq、Cloudflare Workers AI 等
**核心痛点**：
1. 模型信息极度分散——定价页、API 文档、公告分布在几十个平台
2. 区域价格差异大——同一模型在中国区和国际区价格可能完全不同
3. 免费政策不透明——免费额度、限流规则、区域限制缺乏统一汇总
4. 中转平台价格战激烈——硅基流动、OpenRouter 等价格差异显著
5. 信息更新滞后——人工维护成本高，无法实时追踪快速变化的定价
### 1.2 目标
**建立一个覆盖全球的 LLM 情报数据库**，持续追踪：
- **模型商**：基础模型能力、版本迭代、发布动态
- **运营商/云平台**：各区域定价、计费模式、免费额度
- **中转站**：聚合 API 价格、对接稳定性、服务质量
**最终输出**：每日自动生成可视化报告（Web 页面），支持历史对比和趋势分析。
### 1.3 成功指标
| 指标 | 目标值（Phase 1） |
|------|------------------|
| 模型商覆盖率 | 国内外 20+ 主流厂商 |
| 运营商覆盖 | 30+ 云平台/中转站 |
| 模型总量 | 500+ 模型条目 |
| 更新频率 | 每日增量同步 |
| 报告生成 | 每日 08:00 自动触发 |
| 中文界面 | 100% 汉化 |
---
## 二、数据模型设计
### 2.1 核心实体
```
LLM Intelligence Hub
│
├── ModelProvider（模型商）
│ ├── name（名称）: "OpenAI" / "百度" / "DeepSeek"
│ ├── country（国籍）: "US" / "CN" / "EU"
│ ├── website: 官网
│ ├── founded: 成立时间
│ └── models[] → Model（下属模型列表）
│
├── Model（模型）
│ ├── id: 全局唯一标识
│ ├── provider_id → ModelProvider
│ ├── name: "GPT-4o" / "ERNIE-4.0" / "Qwen-72B"
│ ├── version: 版本号（如 "2025-12"）
│ ├── modality（模态）: text / vision / audio / video / code
│ ├── context_length: 上下文窗口（tokens）
│ ├── capabilities[]: ["function_calling", "json_mode", "vision"]
│ ├── release_date: 发布时间
│ ├── status: active / deprecated / discontinued
│ └── parent_model（父模型）: 用于区分 Turbo/Lite 等变体
│
├── Operator（运营商/云平台）
│ ├── name: "阿里云" / "AWS" / "硅基流动"
│ ├── type: "cloud"（云厂商）/ "reseller"（中转）/ "official"（官方直销）
│ ├── country: 运营主体国籍
│ ├── website: 控制台地址
│ ├── api_endpoint: API 地址
│ ├── auth_type: "api_key" / "oauth" / "STS"
│ └── region_pricing[] → RegionPricing（各区域定价）
│
├── RegionPricing（区域定价）
│ ├── id
│ ├── operator_id → Operator
│ ├── model_id → Model（哪个模型在此平台有售）
│ ├── region: "CN" / "US" / "EU" / "GLOBAL"
│ ├── currency: "CNY" / "USD" / "EUR"
│ ├── input_price_per_mtok: 输入价格（元/百万 Token）
│ ├── output_price_per_mtok: 输出价格
│ ├── free_tier（免费层）: 描述免费额度
│ ├── free_limitations[]: ["每日限100次", "仅限国内IP"]
│ ├── rate_limit: 限流规则
│ ├── last_updated: 最后更新
│ └── source_url: 价格页/文档链接
│
├── PricingChange（价格变动记录）
│ ├── id
│ ├── model_id → Model
│ ├── operator_id → Operator
│ ├── region
│ ├── old_price / new_price
│ ├── change_date
│ └── change_type: increase / decrease / new_model / discontinued
│
└── DailyReport（每日报告）
├── id
├── report_date
├── new_models[]: 今日新上线模型
├── price_changes[]: 价格变动
├── free_policy_changes[]: 免费政策变更
├── top_recommendations{}: 场景推荐
└── html_content: Web 报告内容
```
### 2.2 数据来源映射
| 数据类型 | 主要来源 | 获取方式 |
|----------|----------|----------|
| **海外模型商** | OpenRouter API（371 模型） | API 自动同步 |
| **国内模型商** | 各厂商开放平台（ERNIE/Qwen/Hunyuan/Doubao 等） | 官方 API / 文档解析 |
| **云平台定价** | AWS/Azure/阿里云/腾讯云/华为云定价页 | 官方 API / 正则解析 |
| **中转站定价** | OpenRouter / SiliconFlow / Together AI / Groq | API 同步 |
| **免费政策** | 各平台开发者文档 | 文档解析 + 人工补充 |
| **区域差异** | 各云平台区域定价页 | 多区域页面对比 |
---
## 三、功能需求
### 3.1 数据采集层（Must Have）
#### F1：多源数据采集
- **OpenRouter API**：371+ 海外模型，实时同步（定价/上下文/能力）
- **国内厂商 API**：百度 Qianfan、阿里 DashScope、腾讯混元、字节火山引擎、DeepSeek、智谱 BigModel
- **中转平台**：硅基流动 API、OpenRouter API（国内节点）、Together AI
- **更新策略**：每日 08:00 全量同步 + 变更触发增量更新
- **错误处理**：采集失败写入日志，保留上次成功数据，标记"数据待核实"
#### F2：模型基础信息库
- 模型名称、版本、发布商、发布时间
- 模态（文字/图片/音频/视频/代码）
- 上下文窗口、Capabilities（function calling / JSON mode / Vision）
- 模型状态（active / deprecated / discontinued）
#### F3：定价数据库
- 按运营商 × 模型 × 区域存储完整定价
- 支持货币自动换算（USD/CNY/EUR）
- 保留历史价格，支持趋势查看
- 标注价格数据质量（官方 / 推测 / 已过期）
#### F4：免费政策库
- 各平台免费模型列表
- 免费额度（每日/每月请求次数、Token 上限）
- 限流规则（QPS、并发、冷却时间）
- 区域限制（仅某地区可用、仅某用户类型可用）
- 特殊情况（限时免费、活动到期时间）
### 3.2 应用层（Must Have）
#### F5：每日自动报告生成
- **触发**：每日 08:00 cron
- **内容**：
1. 今日新上线 / 更新的模型
2. 价格变动提醒（>5% 变动高亮）
3. 免费政策变更
4. 场景推荐 TOP 10（编码/写作/推理/免费/低成本）
5. 成本优化建议（同能力更低价格选项）
- **格式**：HTML Web 页面（内网可访问）+ PDF 导出
- **分发**：支持推送至钉钉群/飞书群/Email
#### F6：搜索与筛选
- **筛选**：厂商 / 模态 / 场景 / 价格区间 / 上下文长度 / 免费/付费
- **搜索**：模型名、厂商名、特性关键词
- **视图**：卡片视图 / 表格视图 / 趋势图
#### F7：成本计算器
- 输入：Token 数量（输入/输出分开）
- 输出：各平台/运营商成本对比排行榜
- 支持按月用量估算
### 3.3 进阶功能（Should Have）
#### F8：价格变动告警
- 触发条件：价格变动 > 10%（可配置）
- 通知方式：钉钉/飞书/Email 推送
- 白名单：用户关注特定模型/平台
#### F9：模型评测聚合
- MMLU / HumanEval / GSM8K / MATH / LiveCodeBench 等基准分
- 按场景排名（编码/推理/写作/免费）
#### F10：API 接口
- JSON API 供 AI Agent 查询最优模型
- MCP Server 供 OpenClaw/Claude Code 等集成
---
## 四、覆盖范围
### 4.1 模型商（目标 20+）
#### 国内厂商（目标 12 家）
| 厂商 | 代表模型 | API 平台 |
|------|----------|----------|
| 百度 | ERNIE-4.0 / ERNIE-Speed | qianfan.llm.yundun.cn |
| 阿里 | Qwen-Turbo / Qwen-Max / Qwen2.5 | dashscope.aliyun.com |
| 腾讯 | Hunyuan-Pro / Hunyuan-Standard | hunyuan.cloud.tencent.com |
| 字节 | Doubao-Pro-32K / Doubao-lite | volcengine.com |
| DeepSeek | V3 / Coder V3 / Chat | platform.deepseek.com |
| 智谱 | GLM-4 / GLM-4V / GLM-3Turbo | open.bigmodel.cn |
| 华为 | Pangu-4 / Pangu-3 | modelarts.huaweicloud.com |
| 讯飞 | Spark-4.0 / Spark-3.5 | xfyun.cn |
| Moonshot | Kimi-1.5 / Kimi-32K | platform.moonshot.cn |
| 零一万物 | Yi-Large / Yi-Medium | platform.01.ai |
| MiniMax | abab-7B / MiniMax-01 | api.minimax.chat |
| 昆仑万维 | Skywork-13B | tiangong.kunlun.com |
#### 海外厂商（目标 10 家）
| 厂商 | 代表模型 | API 平台 |
|------|----------|----------|
| OpenAI | GPT-4o / GPT-4.5 / o3 / o4 | platform.openai.com |
| Anthropic | Claude 3.5 Sonnet / Claude 4 | console.anthropic.com |
| Google | Gemini 2.0 / Gemini 1.5 | ai.google.dev |
| Meta | Llama 4 / Llama 3.3 | (via Azure/单独部署) |
| xAI | Grok-3 / Grok-4 | x.ai |
| Mistral | Mistral Large / Codestral | mistral.ai |
| Cohere | Command R+ / Command | Cohere |
| Perplexity | Sonar (Pro/Rtel) | perplexity.ai |
| Amazon | Claude/Gemini/Llama (on Bedrock) | AWS Bedrock |
| Microsoft | GPT-4 (on Azure) | Azure OpenAI |
### 4.2 运营商/云平台（目标 30+）
#### 国内云厂商（8 家）
| 平台 | 网址 | 主力模型 |
|------|------|----------|
| 阿里云 | aliyun.com | Qwen / 通义全系 |
| 腾讯云 | cloud.tencent.com | Hunyuan 全系 |
| 百度智能云 | cloud.baidu.com | ERNIE 全系 |
| 华为云 | huaweicloud.com | Pangu 全系 |
| 火山引擎 | volcengine.com | Doubao 全系 |
| 京东云 | jdcloud.com | 言犀（自研） |
| 电信天翼云 | ctyun.cn | （接入第三方模型） |
| 移动云 | cmcc.cn | （接入第三方模型） |
#### 国内中转/聚合（5 家）
| 平台 | 网址 | 特色 |
|------|------|------|
| 硅基流动 | siliconflow.cn | 国内最便宜中转之一 |
| OpenAI 中转 | openai-sg.com 等 | 直连/新加坡节点 |
| DeepSeek 中转 | 多家 | 国内访问 DeepSeek |
| Azure 中转 | 多家 | 绕过 Azure 限制 |
| Claude 中转 | 多家 | 国内访问 Claude |
#### 海外云厂商（6 家）
| 平台 | 网址 | 主力模型 |
|------|------|----------|
| AWS Bedrock | aws.amazon.com/bedrock | Claude/Gemini/Llama/Titan |
| Azure OpenAI | azure.microsoft.com | GPT-4/GPT-4o |
| Google Cloud | cloud.google.com | Gemini/PaLM |
| Cloudflare Workers AI | developers.cloudflare.com/workers-ai | Llama/Gemma 等 |
| Oracle Cloud AI | oracle.com/cloud | Llama/Mistral |
| IBM watsonx | ibm.com/watsonx | Granite/Maestro |
#### 海外中转聚合（8 家）
| 平台 | 网址 | 特色 |
|------|------|------|
| OpenRouter | openrouter.ai | 371+ 模型，ELO 排行，免费模型多 |
| Together AI | together.ai | 开源模型为主 |
| Groq | console.groq.com | 高速推理（Llama/Mixtral） |
| Replicate | replicate.com | 镜像部署，方便 |
| Anyscale | anyscale.com | Ray serving |
| Fireworks AI | fireworks.ai | 高速开源模型 |
| Lepton AI | lepton.ai | 按需计费 |
| Perplexity API | perplexity.ai | Sonar 模型专属 |
---
## 五、非功能需求
### 5.1 技术要求
- **部署**：Docker 支持，内网可部署
- **数据库**：PostgreSQL（主）+ TimescaleDB（时序） / SQLite（轻量版）
- **存储量**：500+ 模型 × 50 字段 ≈ 100MB，每日增量 ~1MB
- **性能**：报告生成 < 30 秒，API 响应 < 500ms
### 5.2 运维要求
- **自动更新**：每日 08:00 cron 触发采集 + 报告生成
- **监控**：失败告警、日志留存 30 天
- **备份**：数据库每日备份
- **告警阈值**：采集失败连续 3 天 / 价格变动 > 20%
### 5.3 数据质量
- **来源标注**：每条数据标注来源 URL，可溯源
- **置信度**：数据分"官方确认" / "文档推断" / "待核实"
- **更新标记**：过期数据标记"已失效"，保留历史
---
## 六、竞品分析摘要
| 竞品 | 覆盖 | 区域定价 | 免费政策 | 每日报告 | 中文 |
|------|------|----------|----------|----------|------|
| OpenRouter | 371 模型（海外为主）| ❌ | ✅ 标记 | ❌ | ❌ |
| Artificial Analysis | 性能排行 | ❌ | ✅ 基础 | ❌ | ❌ |
| truefoundry/models | 1000+ 配置（YAML） | ❌ | ❌ | ❌ | ❌ |
| 硅基流动 | 中转聚合 | ✅ CNY | ✅ 详细 | ❌ | ✅ |
| **本文产品（目标）** | **20+厂商 500+模型** | **✅ 双视图** | **✅ 详细** | **✅ 自动** | **✅** |
---
## 七、上线计划
| 阶段 | 内容 | 目标 | 工期 |
|------|------|------|------|
| **Phase 0** | PRD 确认 + 技术方案选定 | 1 周 | 2026-05 第1周 |
| **Phase 1** | OpenRouter 371 模型 + 10 主流国内厂商接入 + 静态报告 | 2 周 | 2026-05 第2-3周 |
| **Phase 2** | Web Dashboard + 告警 + 成本计算器 | 2 周 | 2026-05 第4周-6月第1周 |
| **Phase 3** | API 开放 + MCP Server + Agent 集成 | 1 周 | 2026-06 第2周 |
---
## 八、风险与依赖
| 风险 | 影响 | 应对 |
|------|------|------|
| 国内厂商 API 变更/限速 | 采集失败 | 多源备份 + 人工补充机制 |
| 中转平台被墙/不稳定 | 数据不可用 | 标注平台稳定性评级 |
| 价格更新太频繁 | 报告滞后 | 变更触发实时告警，不等每日同步 |
| 数据版权问题 | 合规风险 | 仅采集公开数据，标注来源 |
---
## 九、用户故事
| # | 用户 | 故事 |
|---|------|------|
| U1 | 立立（研发） | "每天早上我花2分钟看报告，知道今天哪个模型最值得用" |
| U2 | 小龙（项目经审） | "我想查'中文写作性价比最高的免费模型'，5秒找到答案" |
| U3 | 宰相（AI 助理） | "我想调用 API 自动为用户选择最优模型，不用每次问人" |
| U4 | 财务（成本管理） | "我想看到本月各模型花费占比，作为预算依据" |
| U5 | 项目经审（决策者） | "我想知道国内模型和国际模型的成本差异，辅助选型决策" |
---
## 十、附录
### 10.1 参考资料
- OpenRouter API: `https://openrouter.ai/api/v1/models`
- 硅基流动定价: `https://siliconflow.cn/zh-stilling/price`
- AWS Bedrock 定价: `https://aws.amazon.com/bedrock/pricing/`
- Azure OpenAI 定价: `https://azure.microsoft.com/en-us/pricing/details/cognitive-services/openai-service/`
- 百度 ERNIE: `https://qianfan.llm.yundun.cn/`
- 阿里 DashScope: `https://help.aliyun.com/zh/dashscope/`
- DeepSeek: `https://platform.deepseek.com/`
### 10.2 数据字典（核心字段）
| 字段 | 类型 | 说明 | 示例 |
|------|------|------|------|
| provider_name | string | 模型商名称 | "OpenAI" / "百度" |
| model_name | string | 模型名称 | "GPT-4o" / "ERNIE-4.0" |
| operator_name | string | 运营商名称 | "AWS Bedrock" / "硅基流动" |
| region | string | 区域代码 | "CN" / "US" / "GLOBAL" |
| currency | string | 货币 | "USD" / "CNY" |
| input_price | float | 输入价格（/MTok） | 2.5 |
| output_price | float | 输出价格（/MTok） | 10.0 |
| free_tier | text | 免费额度描述 | "每日100次，每次不超过4000 tokens" |
| context_length | int | 上下文窗口 | 128000 |
| capabilities | array | 能力列表 | ["vision","function_calling"] |
View Git Blame Copy Permalink