niuniu/llm-intelligence
1
0
Fork 1
Code Issues Pull Requests 1 Actions Packages Projects Releases Wiki Activity
Files
0de4402a111f744266e6386a189c128971d5fa24
llm-intelligence/PHASE2_REQUIREMENTS.md

17 KiB
Raw Blame History

LLM Intelligence Hub — Phase 2 需求文档 v0.1

文档版本：v0.1 日期：2026-05-11 负责人：宰相（AI 辅助） 状态：Phase 2 需求收集中 前置依赖：Phase 1 已完成并验收通过（2026-05-10）

一、Phase 2 目标

在 Phase 1（OpenRouter 单数据源 + 基础日报）基础上，扩展为多源聚合的 LLM 情报中心：

  1. 数据源扩展：从 1 家（OpenRouter）扩展到 10+ 家平台
  2. 国内模型覆盖：接入国内主流云厂商和官方 API
  3. 国际模型精选：限制 10 个最火爆模型，精准追踪
  4. 来源区分：明确标注模型来源（官方直销 / 中转 / 免费额度）
  5. 日报升级：分类视频日报、CNY 统一定价、场景化推荐

二、Phase 1 已完成优化（2026-05-11）

2.1 日报生成器 v3.1 优化

优化项 之前 之后
价格单位 USD CNY（统一按 1 USD = 7.25 CNY 换算）
免费模型展示 368 个全部列出 前 20 个代表性 + 国家分布统计
国际 TOP 5 无意义低价（全免费） 国际推荐 TOP 5（免费为主）
国内 TOP 10 7 个模型 7 个模型（带场景标签）
分类板块 无 代码/推理/视觉 3 大分类
HTML UI 简陋表格 现代化信息图（卡片、渐变、响应式）
场景标签 无 自动识别：代码、推理、视觉、对话

实现文件：scripts/generate_daily_report.go v3.1

2.2 健康检查优化

优化项 之前 之后
CPU 告警 瞬时高负载即告警 持续 60s+ 或 30min 内 3 次 10s+ 才告警
OpenClaw 检测 仅基本状态 插件编译、sqlite-vec、数据库、会话堆积、日志扫描
Hermes 监控 无 进程检查、PID 校验、日志扫描、模型可用性、数据库状态

实现文件：scripts/HEALTH_CHECK_PROMPT.md

三、Phase 2 数据源需求

3.1 国内模型平台（高优先级）

平台 类型 模型示例 接入方式
智谱 AI (Zhipu AI) 官方 GLM-4/5 系列 官方 API / 定价页
百度千帆 云厂商中转 ERNIE 4.0/4.5 官方 API / 定价页
阿里云百炼 云厂商中转 Qwen 全系列 官方 API / 定价页
腾讯云 云厂商中转 混元、DeepSeek Coding Plan / Token Plan
华为云 云厂商中转 盘古系列 官方 API / 定价页
字节火山引擎 云厂商中转 Doubao、Seed 官方 API / 定价页
Moonshot AI 官方 Kimi K2 系列 官方 API
MiniMax 官方 M2/M2.5 系列 官方 API
硅基流动 (SiliconFlow) 聚合中转 多模型聚合 API / 定价页
DeepSeek 官方 官方 DeepSeek V3/R1 官方 API
电信/移动/联通云 运营商中转 政企 Coding Plan 官网定价页

3.2 国际模型平台（限制 10 个最火爆）

平台 类型 模型示例 优先级
OpenAI 官方 GPT-5.5, GPT-5.4, o3, o4 P0
Anthropic 官方 Claude Opus 4.7, Sonnet 4.6 P0
Google 官方 Gemini 2.5 Pro, Lyria 3 P0
xAI 官方 Grok 4.1, Grok 4 P0
Meta 官方 Llama 4 Maverick, Llama 4 Scout P1
Mistral AI 官方 Mistral Large 3, Codestral P1
Cohere 官方 Command A, Command R+ P2
AI21 Labs 官方 Jamba Large P2
Together AI 聚合中转 多模型聚合 P2
Groq 聚合中转 极速推理 P2

原则：国际不超过 10 个平台，聚焦最火爆模型商。OpenRouter 作为兜底聚合源保留。

3.3 来源区分体系

模型来源标识：
├── official（官方直销）
│   ├── OpenAI API
│   ├── 阿里云百炼
│   ├── 腾讯云
│   └── ...
├── reseller（中转/聚合）
│   ├── OpenRouter
│   ├── SiliconFlow
│   ├── Together AI
│   └── ...
└── free_tier（免费额度）
    ├── 免费额度说明
    ├── 限流规则
    └── 有效期

数据库字段扩展：

  • region_pricing.source_type: official / reseller / free_tier
  • region_pricing.free_quota: 免费额度描述
  • region_pricing.free_limitations: 免费限制条件（JSON 数组）
  • region_pricing.rate_limit: 限流规则

四、日报升级需求

4.1 视频日报（T-Video-1）

目标：按分类生成短视频日报，每个分类 30 秒

分类 内容 时长
代码模型日报 今日代码模型动态、价格变动 30s
推理模型日报 o3/o4/R1 等推理模型更新 30s
视觉模型日报 多模态模型新上线/降价 30s
国内模型日报 智谱/百度/阿里等国内动态 30s
国际热点日报 Top 10 国际模型价格变动 30s

技术方案：

  1. 复用日报分类数据
  2. 文本转语音（TTS）生成配音
  3. HTML 截图/录屏生成视频帧
  4. 拼接为完整视频

4.2 日报内容增强

增强项 说明
价格变动追踪 对比昨日价格，标注涨跌
新模型上线 今日新入库模型列表
免费政策变更 免费额度调整、新免费模型
场景推荐 按场景（代码/写作/推理/视觉）推荐最优模型
性价比排行 按 $/1M tokens 性价比排序

五、数据采集器规划

5.1 采集器清单（已就绪 / 开发中）

采集器 目标平台 优先级 状态 文件
fetch_multi_source.go OpenRouter + Moonshot + DeepSeek + OpenAI P0 ✅ 已完成（支持 --sources / --dry-run） scripts/fetch_multi_source.go
fetch_zhipu.go 智谱 AI P0 ⏸️ 待开发 -
fetch_baidu.go 百度千帆 P0 ⏸️ 待开发 -
fetch_aliyun.go 阿里云百炼 P0 ⏸️ 待开发 -
fetch_tencent_catalog.go 腾讯云公开目录 / Token Plan 公共页 P0 ✅ 已完成（支持真实 URL / --fixture dry-run） scripts/fetch_tencent_catalog.go
tencent_pricing_mapping 腾讯云 Token Plan / Coding Plan 套餐映射设计 P0 ✅ 已完成（subscription_plan 方案已确定） subscription_plan
fetch_huawei.go 华为云 P1 ⏸️ 待开发 -
fetch_bytedance.go 火山引擎 P1 ⏸️ 待开发 -
fetch_siliconflow.go 硅基流动 P1 ⏸️ 待开发 -
fetch_anthropic.go Anthropic P0 ⏸️ 待开发 -

5.2 统一采集接口

type DataSource interface {
    Name() string                          // 来源名称
    FetchModels() ([]ModelInfo, error)     // 抓取模型列表
    FetchPricing() ([]RegionPricing, error) // 抓取定价
    SourceType() string                    // official / reseller
    FreeTier() (*FreeTierInfo, error)      // 免费额度信息
}

5.3 腾讯云拆分策略

腾讯云当前不再适合继续作为一个模糊的“待开发采集器”处理，而要拆成两个独立阶段：

  1. Tencent Public Catalog（T-Data-5）

    • 目标：采集腾讯云公开可见页面中的套餐名称、公开模型清单、上下文长度、适用产品、页面更新时间和来源 URL
    • 边界：只解决“公开目录可自动采到”的问题，不强行把套餐价格折算成每模型输入/输出单价
    • 产物：scripts/fetch_tencent_catalog.go 或等价入口，支持真实 URL 抓取和 --fixture dry-run
    • 当前结果：已能解析 2026-04-27 公开页快照中的 8 个套餐和 11 个公开模型目录项，并可将套餐结果落入 subscription_plan

  2. Tencent Pricing Mapping（T-Data-6）

    • 目标：明确 Token Plan / Coding Plan 的价格如何入库、如何展示、如何验收
    • 约束：腾讯云公开页以套餐订阅价为主，不是现有 region_pricing.input_price_per_mtok / output_price_per_mtok 擅长承载的按量单价模型
    • 设计结论：新增 subscription_plan 表，单独保存订阅型价格，而不是把套餐信息硬塞进 region_pricing

为什么不能继续复用 region_pricing：

  • region_pricing 的主语是“一个模型在一个区域/运营商下的按量价格”，核心字段是 model_id + input_price_per_mtok + output_price_per_mtok
  • 腾讯云 Token Plan / Coding Plan 的主语是“一个可售套餐”，覆盖多个模型，共享月度额度，不存在稳定的一对一 model_id
  • request_price 也不足以表达腾讯云套餐，因为它仍假设“单次请求价格”，而不是“月付 + 共享 token 配额”
  • 当前日报和 API 都默认把 region_pricing 当作“单模型价格排行”数据源；如果把套餐硬塞进去，会制造虚假的单模型单价，污染排行榜和比价结果

设计决策：

  • region_pricing 继续只承载按模型的按量价格、免费额度和限流信息
  • 腾讯云 Token Plan / Coding Plan 进入新表 subscription_plan
  • 后续日报/API 若要展示腾讯云套餐，走独立“套餐订阅价”区块，不进入按模型低价排行

5.4 subscription_plan DDL 草案

CREATE TABLE subscription_plan (
    id              BIGSERIAL PRIMARY KEY,
    provider_id     BIGINT NOT NULL REFERENCES model_provider(id),
    operator_id     BIGINT REFERENCES operator(id),
    plan_family     TEXT NOT NULL CHECK (plan_family IN ('token_plan', 'coding_plan')),
    plan_code       TEXT NOT NULL,
    plan_name       TEXT NOT NULL,
    tier            TEXT NOT NULL,
    billing_cycle   TEXT NOT NULL DEFAULT 'monthly',
    currency        TEXT NOT NULL DEFAULT 'CNY',
    list_price      REAL NOT NULL CHECK (list_price >= 0),
    price_unit      TEXT NOT NULL,
    quota_value     BIGINT,
    quota_unit      TEXT,
    context_window  INTEGER,
    plan_scope      TEXT,
    model_scope     TEXT NOT NULL DEFAULT '[]',
    source_url      TEXT NOT NULL,
    published_at    TIMESTAMP,
    effective_date  DATE,
    notes           TEXT,
    created_at      TIMESTAMP NOT NULL DEFAULT NOW(),
    updated_at      TIMESTAMP NOT NULL DEFAULT NOW(),
    UNIQUE (provider_id, plan_code, effective_date)
);

推荐的 subscription_plan 字段草案：

  • id
  • provider_id
  • operator_id
  • plan_family
  • plan_code
  • plan_name
  • tier
  • billing_cycle
  • currency
  • list_price
  • price_unit
  • quota_value
  • quota_unit
  • model_scope
  • context_window
  • plan_scope
  • source_url
  • published_at
  • notes

5.5 腾讯云套餐映射规则

  1. 一行代表一个可售套餐

    • 例如 通用 Token Plan / Lite
    • 例如 Hy Token Plan / Max

  2. 不为套餐伪造模型单价

    • 不根据套餐价格反推 input_price_per_mtok
    • 不把 月费 / 套餐额度 近似写成某个模型的输入/输出单价

  3. 模型覆盖范围写入 model_scope

    • model_scope 保存当前套餐公开支持的模型清单
    • 建议以 JSON 数组字符串形式保存，例如 ["glm-5","glm-5.1","hunyuan-t1"]

  4. context_window 仅保存套餐页明确声明的上限

    • 如果页面只说明某个模型支持 256K，则写在对应套餐行的 context_window
    • 页面未明确给出时允许为空

  5. 公开目录采集与正式落库分离

    • fetch_tencent_catalog.go 负责提取公共页信息
    • 后续导入脚本或迁移任务负责写入 subscription_plan

  6. 日报/API 展示边界

    • 日报新增“腾讯云套餐订阅价”区块
    • /api/v1/models 继续只返回模型级价格
    • 套餐信息通过独立接口 /api/v1/subscription-plans 暴露

5.6 后续实施入口

  • T-Data-7：新增 subscription_plan 迁移与导入链路
  • T-Data-8：✅ 日报展示腾讯云套餐订阅价摘要
  • T-Data-9：✅ API 暴露 subscription_plan 查询入口
  • T-3.3：✅ Dashboard 已消费 /api/v1/subscription-plans，前端独立展示腾讯云套餐订阅价

六、验收标准

Phase 2 完成条件

  1. 数据源覆盖：≥ 10 家平台接入（国内 7+，国际 3+）
  2. 模型总量：≥ 500 个模型条目（当前 377）
  3. 国内模型：≥ 50 个国内付费模型（当前 7）
  4. 来源区分：所有模型标注 official/reseller/free_tier
  5. 日报升级：
    • CNY 统一定价 ✅
    • 分类展示 ✅
    • 场景标签 ✅
    • 视频日报原型 ✅（GIF + WAV 原型）
  6. 更新频率：每日 08:00 自动触发，覆盖所有数据源

七、任务清单（已导入 TASKS.md）

数据源主线

  • T-Data-1：✅ 规划基线完成
  • T-Data-2：✅ 多源采集器入口落地
  • T-Data-3：✅ 国内厂商种子与来源字段落库
  • T-Data-4：✅ Phase 2 多源采集验收
  • T-Data-5：✅ 腾讯云公开目录采集入口
  • T-Data-6：✅ 腾讯云 Token Plan 套餐映射设计
  • T-Data-7：✅ 腾讯云套餐表迁移与导入
  • T-Data-8：✅ 日报接入腾讯云套餐订阅价
  • T-Data-9：✅ 套餐订阅价独立 API

前端消费主线

  • T-3.3：✅ Dashboard 接入套餐订阅价

视频日报主线

  • T-Video-1：✅ 规划基线完成
  • T-Video-2：✅ 视频日报生成 pipeline 落地（GIF + WAV 原型）
  • T-Video-3：✅ 视频日报端到端验收脚本

附录：已抓取价格数据（2026-05-11）

抓取状态汇总

平台 类型 状态 已抓取模型数 说明
OpenRouter 国际聚合 ✅ 完整 365 采集器已就绪 fetch_multi_source.go
智谱 AI 国内 official ✅ 完整 29 无头浏览器抓取 + 手动整理入库
百度千帆 国内 official ✅ 完整 44 无头浏览器抓取 + 解析入库
Moonshot (Kimi) 国内 official ✅ 完整 3 采集器已就绪
DeepSeek 国内 official ✅ 完整 2 采集器已就绪
OpenAI 国际 official ✅ 完整 3 采集器已就绪
阿里云百炼 国内 reseller ⚠️ 部分 8+ 模型列表已抓取，定价需登录
腾讯云 国内 reseller ✅ 目录/套餐/API/前端 已接入 11（公开目录） + 8（套餐落库） 公共页已可解析；subscription_plan 已落 8 条腾讯云套餐记录，已进入日报独立套餐区块，并可通过 /api/v1/subscription-plans 查询；Dashboard 已独立展示套餐订阅价；模型级价格仍单独走 region_pricing
华为云 国内 reseller ❌ 受限 0 404 未找到定价页
字节火山引擎 国内 reseller ✅ 完整 43 无头浏览器抓取 + 解析入库
硅基流动 国内聚合 ❌ 受限 0 需要登录
Anthropic 国际 official ❌ 受限 0 页面动态渲染 + 区域限制

已抓取完整数据

Moonshot (Kimi) - official

模型 输入(缓存命中) 输入(缓存未命中) 输出 上下文
kimi-k2.6 ¥1.10 ¥6.50 ¥27.00 262,144
kimi-k2-0905-preview ¥1.00 ¥4.00 ¥16.00 262,144
kimi-k2-0711-preview ¥1.00 ¥4.00 ¥16.00 131,072
kimi-k2-turbo-preview ¥1.00 ¥8.00 ¥58.00 262,144
kimi-k2-thinking ¥1.00 ¥4.00 ¥16.00 262,144
moonshot-v1-8k ¥2.00 - ¥10.00 8,192
moonshot-v1-32k ¥5.00 - ¥20.00 32,768
moonshot-v1-128k ¥10.00 - ¥30.00 131,072

DeepSeek - official

模型 输入(缓存命中) 输入(缓存未命中) 输出 上下文
deepseek-v4-flash $0.0028 $0.14 $0.28 1M
deepseek-v4-pro $0.003625 $0.435 $0.87 1M

注意：deepseek-v4-pro 当前 75% 折扣（至 2026/05/31）

OpenAI - official

模型 输入 缓存输入 输出
GPT-5.5 $5.00 $0.50 $30.00
GPT-5.4 $2.50 $0.25 $15.00
GPT-5.4 mini $0.75 $0.075 $4.50

阿里云百炼 - reseller/cloud（模型列表，价格待抓取）

  • qwen3.6-max-preview, qwen3.6-plus, qwen3.6-flash
  • deepseek-v4-pro, deepseek-v4-flash, kimi-k2.6
  • glm-5.1, MiniMax-M2.7

受限平台解决策略

平台 解决方式 优先级
智谱 AI 尝试 API 接口 / 模拟浏览器请求 P0
百度千帆 查找子页面 / 使用 API 文档 P0
腾讯云 先做公开目录采集，再设计 Token Plan / Coding Plan 套餐映射；必要时单独新增 subscription_plan 表 P0
华为云 查找正确的定价文档 URL P1
字节火山引擎 使用 headless 浏览器 / API 接口 P1
硅基流动 登录后抓取 / 使用 API 文档 P1
Anthropic 使用 API 端点 / headless 浏览器 P0

本文档随需求变化持续更新。最后更新：2026-05-13

Reference in New Issue View Git Blame Copy Permalink