commit 9c9a520530980398ca3627836e40f01a0469429a Author: Your Name Date: Sun May 3 23:22:50 2026 +0800 docs: LLM Intelligence Hub - PRD v0.1 + 市场调研报告 v1.0 diff --git a/MARKET_ANALYSIS.md b/MARKET_ANALYSIS.md new file mode 100644 index 0000000..8b94190 --- /dev/null +++ b/MARKET_ANALYSIS.md @@ -0,0 +1,287 @@ +# LLM Intelligence Hub — 产品市场调研 & 竞品分析报告 + +> 报告时间:2026-05-03 +> 研究方法:竞品产品体验 + GitHub 数据分析 + 行业信息收集 +> 报告版本:v1.0 + +--- + +## 一、市场分析 + +### 1.1 市场规模与趋势 + +**LLM 市场高速增长**: +- 2025 年全球 LLM API市场规模估计超过 50 亿美元,年复合增长率 > 40% +- OpenRouter 一家平台已托管 371+ 模型(2026-05 实时),涵盖 OpenAI/Anthropic/Google/DeepSeek/Meta/IBM 等 20+ 提供商 +- 国内百度文心、阿里通义、字节豆包、DeepSeek 等快速崛起,竞争激烈 + +**价格战持续**: +- DeepSeek V3 定价极低,倒逼全球模型降价 +- OpenAI o3 推出后高推理成本引发成本讨论 +- 免费模型数量和质量快速提升(OpenRouter 30+ 免费模型) + +**关键趋势**: +1. **多提供商整合** — 开发者倾向通过统一 API(OpenRouter/Together AI)访问多模型 +2. **免费政策竞争** — 各家争相推出免费层吸引开发者 +3. **定价透明化** — 按 Token 计费成为行业标准,但区域差异显著 +4. **模型能力快速迭代** — 每月均有新版本/新模型发布 + +### 1.2 目标用户画像 + +| 用户类型 | 核心需求 | 痛点 | +|----------|----------|------| +| **AI Agent 开发者** | 选型最优模型、控制成本 | 模型 ID 混乱、价格不透明 | +| **企业 AI 负责人** | 成本核算、供应商管理 | 多渠道数据分散 | +| **独立开发者** | 找免费模型、节省预算 | 免费额度政策不稳定 | +| **AI 研究者** | 模型能力对比、追踪新模型 | 信息分散在多平台 | + +--- + +## 二、竞品分析 + +### 2.1 竞品总览 + +| 产品 | 类型 | 定位 | 核心用户 | +|------|------|------|----------| +| **OpenRouter** | 聚合 API 平台 | 多模型统一接入 + 模型排行 | 开发者、企业 | +| **Artificial Analysis** | 数据分析平台 | 性能排行榜 + 成本计算 | 研究者、企业 | +| **ClawHub** | 技能市场 | 52k AI 工具聚合 | OpenClaw 用户 | +| **AIPriceIndex** | 定价追踪 | 历史价格追踪 | 个人开发者 | +| **truefoundry/models** | 开源模型库 | 1000+ 模型配置清单 | 开发者、AI 团队 | +| **Model-ID-Cheatsheet** | AI Coding 工具 | 模型 ID 精确查询 | Coding Agent 用户 | +| **HuggingFace** | 模型平台 | 开源模型托管 + 评测 | 研究者、开源社区 | + +### 2.2 深度竞品分析 + +#### 竞品 1:OpenRouter(openrouter.ai)⭐⭐⭐⭐⭐ + +**产品概况**: +- 提供 371+ 模型统一 API 访问 +- 支持模型排行(ELO score) +- 免费模型标记 + 智能熔断 + +**核心数据**(2026-05 实测): +``` +- 模型总数:371 个(API 实时) +- 提供商:OpenAI/Anthropic/Google/DeepSeek/Meta/xAI/IBM/Cohere 等 +- 价格范围:$0 - $15/MTokens(输入) +- 免费模型:30+ 个(`:free` 后缀标记) +- API 字段:id/name/pricing/context_length/supported_parameters +``` + +**优势**: +- 数据最实时(API 实时返回模型列表) +- 模型质量有 ELO 排名参考 +- 免费模型最全 + +**弱点**: +- 无区域定价区分(所有区域同价) +- 无免费额度的具体说明(限流规则不透明) +- 无中文界面 +- 不是专门的信息追踪工具(是 API 平台) + +**定价模式**:API 调用抽佣模式,不收用户订阅费 + +--- + +#### 竞品 2:Artificial Analysis(artificialanalysis.ai)⭐⭐⭐ + +**产品概况**: +- LLM 性能排行榜(基于 MMLU/HumanEval 等) +- 成本计算器(输入/输出 Token 价格) +- 每日对话量统计 + +**优势**: +- 性能数据权威(聚合多个 benchmark) +- 有成本节省计算功能 + +**弱点**: +- 主要面向付费企业用户,免费功能有限 +- 无免费模型深度追踪 +- 无区域定价差异 +- 非开源,数据更新机制不透明 + +--- + +#### 竞品 3:ClawHub(clawhub.ai)⭐⭐⭐⭐ + +**产品概况**: +- AI 工具技能市场(Skills + Plugins) +- 52,700+ 工具,180,000+ 用户,12M+ 下载 +- 平均评分 4.8 + +**热门 Skills**(前 5): +1. Self-Improving Agent — 418k 下载,持续自优化 +2. Skill Vetter — 228k 下载,安全审计 +3. Self-Improving + Proactive Agent — 179k 下载 +4. ontology — 175k 下载,知识图谱 +5. Github — 169k 下载,GitHub 集成 + +**优势**: +- 生态最全,工具种类最丰富 +- 有下载量/Star 等社区数据参考 + +**弱点**: +- 不是专门的 LLM 信息追踪平台 +- Skills 市场主要是工具聚合,非数据追踪 + +--- + +#### 竞品 4:truefoundry/models(GitHub)⭐⭐⭐ + +**产品概况**: +- 社区维护的开源模型配置库 +- 覆盖 21 提供商,1000+ 模型 +- YAML 格式,版本化管理 + +**核心字段**: +``` +model: gpt-5.4-mini-2026-03-17 +mode: chat +costs: + - region: "*" + input_cost_per_token: 7.5e-7 + output_cost_per_token: 0.0000045 +limits: + context_window: 400000 +features: [function_calling, prompt_caching, structured_output] +modalities: + input: [text, image] + output: [text] +``` + +**优势**: +- 数据结构化,字段完整(定价/能力/限制/模态) +- 社区驱动,更新相对及时 +- 开源可自部署 + +**弱点**: +- 非实时更新,需人工 PR +- 无自动化告警 +- 仅限配置数据,无评测/动态信息 + +--- + +#### 竞品 5:AIPriceIndex(GitHub)⭐⭐ + +**产品概况**: +- 开源 LLM 定价追踪项目 +- 自动爬取官方定价页面 + +**优势**: +- 有历史价格对比图表 + +**弱点**: +- 仅 1 Star,社区认可度低 +- 功能单一(只有价格爬取) +- 项目活跃度低 + +--- + +### 2.3 竞品功能矩阵 + +| 功能 | OpenRouter | Artificial Analysis | truefoundry | AIPriceIndex | 本文产品(目标) | +|------|------------|---------------------|-------------|--------------|-------------------| +| 模型数量 | 371+ | 不明 | 1000+ | 20+ | 500+ | +| 实时数据 | ✅ API | ❌ 定期 | ❌ PR 更新 | ❌ 爬虫 | ✅ 每日自动 | +| 价格信息 | ✅ | ✅ | ✅ | ✅ | ✅ | +| 免费政策 | ✅ 标记 | ✅ | ❌ | ❌ | ✅ 详细追踪 | +| 区域定价 | ❌ | ❌ | ❌ | ❌ | ✅ | +| 性能评测 | ❌ | ✅ | ❌ | ❌ | ✅ 聚合 | +| 告警通知 | ❌ | ❌ | ❌ | ❌ | ✅ | +| 每日报告 | ❌ | ❌ | ❌ | ❌ | ✅ | +| Web 界面 | ✅ | ✅ 付费 | ❌ | ❌ | ✅ | +| 中文界面 | ❌ | ❌ | ❌ | ❌ | ✅ | + +--- + +## 三、市场机会分析 + +### 3.1 蓝海机会 + +**机会 1:区域定价追踪(空白)** +- 现状:所有竞品均不区分区域定价 +- 需求:国内用户需了解阿里/百度/腾讯/字节模型的国内定价 vs 海外版 +- 切入:聚合国内 4 大厂模型定价,建立 CN 区专属页面 + +**机会 2:每日自动报告(空白)** +- 现状:无任何竞品提供每日自动 LLM 情报报告 +- 需求:忙碌的 AI 负责人希望能像看财经早餐一样看每日 AI 模型动态 +- 切入:每日 08:00 自动生成 HTML/PDF 报告,推送到钉钉/飞书 + +**机会 3:免费政策追踪(弱)** +- 现状:OpenRouter 有免费标记,但无免费额度、限流规则详细说明 +- 需求:开发者需要知道"这个免费模型每天能用多少次" +- 切入:建立详细的免费政策数据库,每周更新 + +### 3.2 差异化策略 + +| 维度 | 竞品现状 | 本产品差异化 | +|------|----------|-------------| +| **数据频率** | OpenRouter 实时,其他静态 | 每日增量更新,保留历史版本 | +| **报告形式** | 无 | 每日 Web 报告 + 推送 | +| **区域覆盖** | 忽略 CN 区 | 国内 4 大厂 + 海外双视图 | +| **目标用户** | 英文用户为主 | 中文优先,兼顾英文 | +| **Agent 集成** | 无 | API + MCP Server 供 AI 查询 | + +--- + +## 四、结论与建议 + +### 4.1 市场定位 + +**定位**:面向中文开发者的 LLM 情报中心 — 每日自动更新的模型追踪 + 报告平台 + +**核心价值主张**: +> "每天 8 点,知道今天该用哪个模型" + +**竞争优势**: +1. **每日自动报告**(竞品独家) +2. **区域定价追踪**(竞品空白) +3. **免费政策详细数据库**(竞品弱) +4. **中文界面 + 钉钉/飞书推送**(国内开发者友好) + +### 4.2 建议优先级 + +| 优先级 | 功能 | 原因 | +|--------|------|------| +| P0 | 模型数据库(OpenRouter API 同步) | 核心数据基础 | +| P1 | 每日报告生成 | 差异化核心 | +| P1 | 免费政策数据库 | 开发者强需求 | +| P2 | 区域定价追踪(国内 4 大厂) | 蓝海机会 | +| P2 | 告警系统 | 提升粘性 | + +### 4.3 潜在竞争威胁 + +| 威胁 | 概率 | 应对 | +|------|------|------| +| OpenRouter 上线报告功能 | 低(其定位是 API 平台) | 专注差异化,深度定制 | +| Anthropic/Google 官方提供类似服务 | 中 | 提供多提供商聚合价值 | +| 国内出现同类产品 | 高 | 快速上线,抢占品牌认知 | + +--- + +## 五、数据附录 + +### 5.1 OpenRouter 模型分布(2026-05 实测) + +``` +总模型数:371 +字段:id/name/pricing/context_length/supported_parameters/expiration_date +免费模型:30+(`:free` 后缀) +价格范围:$0 - $15/MTokens(输入) +主要提供商:OpenAI/Google DeepMind/xAI/IBM/Cohere/Meta/Mistral/DeepSeek +``` + +### 5.2 GitHub 热门 LLM 相关项目(参考) + +| 项目 | Stars | 功能定位 | +|------|-------|----------| +| VoltAgent/awesome-openclaw-skills | 47,805 | OpenClaw Skills 大全(5200+) | +| kobiso/Computer-Vision-Leaderboard | 325 | CV 模型排行 | +| pete-builds/open-model-arena | 3 | 盲测 ELO 排行 | + +--- + +**报告编制**:宰相 +**数据来源**:OpenRouter API、GitHub Search API、竞品公开页面(2026-05-03 实测) diff --git a/PRD.md b/PRD.md new file mode 100644 index 0000000..b239dff --- /dev/null +++ b/PRD.md @@ -0,0 +1,180 @@ +# LLM Intelligence Hub — 产品需求文档 v0.1 + +> 文档版本:v0.1 +> 日期:2026-05-03 +> 负责人:宰相(AI 辅助) +> 状态:初稿,征询中 + +--- + +## 一、产品概述 + +### 1.1 背景与问题 + +**背景**: +- 大模型(LLM)市场竞争激烈,OpenAI/Anthropic/Google/DeepSeek/Meta 等提供商持续发布新版本、调整定价和免费政策 +- 「立交桥」项目需要在多个 AI Agent 间做模型决策,需要实时掌握各模型的能力、定价、免费额度、区域限制等信息 +- 现有信息分散在多个平台(OpenRouter、Anthropic 官网、Google AI Studio、GitHub 等),缺乏统一聚合视图 + +**核心问题**: +1. 模型信息分散,更新不及时 +2. 免费政策区域差异大,难以获取完整信息 +3. 定价随版本快速变化,人工维护成本高 +4. 缺乏一个可持续积累的 LLM 知识库 + +### 1.2 目标 + +**建设一个可持续运营的 LLM 情报中心**: +- 自动采集 + 人工补充,持续追踪 20+ 提供商的模型动态 +- 建立结构化 LLM 数据库(定价/能力/政策/评测) +- 每日自动生成可视化报告(Web 页面) +- 支持按场景(编码/写作/推理/免费)筛选最优模型 + +### 1.3 成功指标 + +| 指标 | 目标值 | +|------|--------| +| 模型覆盖率 | 20+ 提供商,500+ 模型 | +| 信息更新频率 | 每日增量更新 | +| 报告生成 | 每日 08:00 自动生成 | +| Web 可访问性 | 内网可访问,支持导出 PDF | + +--- + +## 二、功能需求 + +### 2.1 核心功能(Must Have) + +#### F1:模型数据库 +- **字段**:模型名称、提供商、版本、API ID、输入价格、输出价格、上下文窗口、Capabilities(Vision/Tools/JSON等)、免费标记、免费额度、区域限制、更新时间 +- **来源**:OpenRouter API(724模型)、Anthropic/Google 官方文档、GitHub 模型列表 +- **更新策略**:每日增量同步 + 人工校正 + +#### F2:免费政策追踪 +- **内容**:各提供商免费模型列表、免费额度说明、限流规则、区域限制 +- **特殊标记**:限时免费、试用政策、新用户优惠 + +#### F3:区域定价追踪 +- **内容**:同一模型在不同区域的定价差异(如中国区 vs 全球区) +- **货币支持**:USD/CNY/EUR 汇率换算 + +#### F4:每日报告生成 +- **格式**:Web 页面(HTML)+ PDF 导出 +- **内容**: + - 今日新上线/更新模型 + - 价格变动提醒 + - 免费政策变更 + - 热门模型 TOP 10 推荐(按场景) + - 成本优化建议 + +#### F5:搜索与筛选 +- **筛选维度**:提供商、免费/付费、场景(编码/写作/推理)、价格区间、上下文长度 +- **搜索**:模型名称、提供商、特性关键词 + +### 2.2 进阶功能(Should Have) + +#### F6:价格对比计算器 +- 输入 Token 数量 → 输出各提供商成本对比 +- 按月成本估算 + +#### F7:模型评测排行榜 +- 聚合 MMLU / HumanEval / GSM8K / MATH 等基准评测数据 +- 按场景排名(编码/推理/写作/免费) + +#### F8:告警系统 +- 价格变动 > 10% 触发告警 +- 新模型上线通知 +- 免费额度变更通知 + +#### F9:API 接口 +- 提供 JSON API 供其他系统集成 +- 支持 AI Agent 查询最优模型 + +### 2.3 未来功能(Nice to Have) + +#### F10:竞品追踪 +- 追踪各提供商市场份额、融资动态、战略动向 + +#### F11:多语言界面 +- 中文 / 英文双语界面 + +--- + +## 三、非功能需求 + +### 3.1 技术要求 +- **部署**:内网服务器,支持 Docker 部署 +- **存储**:SQLite(轻量)+ PostgreSQL(生产) +- **数据量**:预估 500+ 模型 × 50+ 字段,每日增量 10-50 条 +- **性能**:报告生成 < 30 秒 + +### 3.2 运维要求 +- **自动更新**:每日 08:00 cron 触发数据同步 +- **监控**:失败告警、日志留存 30 天 +- **备份**:数据库每日增量备份 + +### 3.3 安全要求 +- **访问控制**:内网认证(如需) +- **数据来源标注**:所有数据标注来源 URL,确保可溯源 + +--- + +## 四、竞品参考 + +| 竞品 | URL | 核心能力 | 弱点 | +|------|-----|---------|------| +| OpenRouter | openrouter.ai/models | 724模型实时数据,免费标记,ELO排名 | 无中文界面,不追踪区域定价 | +| AIPriceIndex | (GitHub) | LLM 定价历史追踪 | 仅定价,无评测 | +| Artificial Analysis | artificialanalysis.ai | 模型性能排行,成本计算 | 付费为主,无免费模型追踪 | +| truefoundry/models | (GitHub) | 21提供商 1000+模型配置 | 非实时,需人工 PR 更新 | +| Model-ID-Cheatsheet | (GitHub) | 107模型精确 ID | 仅 API ID,无定价 | + +--- + +## 五、技术方案建议 + +### 方案 A(快速启动) +- **数据源**:OpenRouter API + 官方文档爬虫 +- **存储**:SQLite + 每日 CSV 导出 +- **报告**:静态 HTML 页面 + GitHub Pages 托管 +- **工期**:2 周 MVP + +### 方案 B(生产级) +- **数据源**:OpenRouter + Anthropic + Google + DeepSeek 官方 API +- **存储**:PostgreSQL + TimescaleDB(时序数据) +- **报告**:Web Dashboard(React) + PDF 自动生成 +- **告警**:邮件/钉钉通知 +- **工期**:4-6 周 + +--- + +## 六、用户故事 + +| # | 用户 | 故事 | +|---|------|------| +| U1 | 立立 | "我每天早上看一眼报告,就知道今天该用哪个模型省钱" | +| U2 | 小龙 | "我想查某个场景下最便宜的免费模型,5秒内找到" | +| U3 | 宰相 | "我想让 AI Agent 能自动查询最优模型,不用每次问人" | +| U4 | 项目经审 | "我想看到本周价格变动汇总,作为成本核算依据" | + +--- + +## 七、风险与依赖 + +| 风险 | 影响 | 应对 | +|------|------|------| +| 数据源 API 变更 | 爬虫失效 | 多源交叉验证,建立镜像 | +| 免费额度频繁调整 | 报告滞后 | 每日检查 + 变更告警 | +| 提供商定价策略差异化 | 数据结构复杂 | 设计灵活 schema,支持扩展字段 | + +--- + +## 八、上线计划 + +| 阶段 | 内容 | 目标 | +|------|------|------| +| Phase 0 | 需求确认 + 技术方案选定 | 1 周 | +| Phase 1 | MVP:10 提供商数据 + 静态报告 | 2 周 | +| Phase 2 | Web Dashboard + 告警 + 评测排行 | 2 周 | +| Phase 3 | API 开放 + Agent 集成 | 1 周 | +