niuniu/ai-ops

Fork 0

Files

phamnazage-jpg fc54ba84b2 chore: initial import

2026-05-12 17:48:22 +08:00

22 KiB

Raw Permalink Blame History

AI-Ops 测试设计方案

版本：v1.0 日期：2026-04-27 状态：初稿覆盖：AC-01 ~ AC-12、异常流程 F-01 ~ F-08、边缘流程 G ~ I

1. 测试策略

1.1 测试分层模型

┌─────────────────────────────────────────────────┐
│                   E2E Tests (黑盒)               │
│  场景：用户操作链路 + 系统集成验证                 │
│  工具：Go test + k6 / 自制 E2E runner           │
│  覆盖率目标：每个主流程 ≥ 1 条                    │
└─────────────────────────────────────────────────┘
                        ▲
┌─────────────────────────────────────────────────┐
│               Integration Tests (灰盒)             │
│  场景：Service 间协作、数据库读写、外部 API Mock   │
│  工具：Go test + testify + sqlmock + httptest   │
│  覆盖率门槛：service ≥ 80%, handler ≥ 80%        │
└─────────────────────────────────────────────────┘
                        ▲
┌─────────────────────────────────────────────────┐
│                Unit Tests (白盒)                 │
│  场景：单个函数/方法逻辑、边界条件、错误分支       │
│  工具：Go test + testify + gomock              │
│  覆盖率门槛：domain ≥ 70%                       │
└─────────────────────────────────────────────────┘

1.2 测试通过标准

维度	标准
覆盖率	domain ≥ 70%, service/handler ≥ 80%
主流程	AC-01 ~ AC-12 全部有至少 1 条通过测试
异常流程	F-01 ~ F-08 全部有至少 1 条验证测试
边缘流程	G、H、I 全部有至少 1 条验证测试
告警噪声率	沙盒测试中误报率 ≤ 1%，超过则 CI 失败
自愈误触发	沙盒测试中 0 次误触发，否则 CI 失败

1.3 测试环境矩阵

环境	用途	数据特征	外部依赖
Local Dev	开发者快速验证	Mock 数据	Mock 所有外部服务
CI	PR Merge 门禁	Mock 数据	Mock 所有外部服务
Sandbox	沙盒验证（自愈规则）	生产数据脱敏副本	Mock + 部分真实依赖
Staging	上线前全流程验证	生产数据脱敏副本	全真实依赖
Production	灰度上线	真实数据	全真实依赖

2. Mock 策略

2.1 外部依赖 Mock

依赖	Mock 方案	工具
Prometheus / 时序数据库	嵌入式 mock server，返回预置指标数据	httptest + 自定义 mock
gateway/internal/metrics	Mock HTTP handler，返回 JSON 指标	gock / httptest
supply-api/ 供应商健康接口	Mock 返回 200/401/429/500	gock
platform-token-runtime/ 运行时状态接口	Mock 返回正常/异常状态	gock
通知渠道（Webhook/邮件/飞书）	Mock server 接收并验证请求格式	httptest
PostgreSQL	sqlmock 拦截 SQL，验证查询正确性	github.com/DATA-DOG/go-sqlmock
Redis	miniredis 内存模拟	github.com/alicebob/miniredis

2.2 Mock 分层

Production 依赖:
  gateway metrics API ──→ supply-api 供应商接口 ──→ token-runtime 状态接口
         │                       │                        │
         ▼                       ▼                        ▼
Mock (CI/Local):         Mock (CI/Local):          Mock (CI/Local):
MetricsMockServer    →   SupplierMockServer    →   RuntimeMockServer

3. 测试用例矩阵（按 AC 编号）

AC-01 实时监控看板

用例 ID	描述	类型	覆盖条件
TC-01-01	首页加载时间 <2s	Performance	Given 用户登录 When 访问首页 Then 响应时间 ≤2s
TC-01-02	首页显示 6 个指标	Happy Path	Given 系统运行 When 首页加载 Then 显示 QPS/延迟/P99/错误率/供应商数/告警数
TC-01-03	指标卡片 15s 内刷新	Functional	Given 指标更新 When 数据推送 Then 15s 内页面刷新
TC-01-04	无数据时看板展示"无数据"	Edge	Given 指标源断开 When 首页加载 Then 不显示过期数据
TC-01-NEG-01	未登录访问首页返回 401	Negative	Given 未登录 When 访问首页 Then 返回 401
TC-01-NEG-02	非法时间范围参数返回 400	Negative	Given 非法时间范围参数 When 请求指标 Then 返回 400

AC-02 指标下钻

用例 ID	描述	类型	覆盖条件
TC-02-01	下钻显示 1 小时趋势图	Happy Path	Given 点击指标卡片 When 下钻 Then 显示 60min 趋势
TC-02-02	按 service/path/supplier 维度分割	Functional	Given 趋势图 When 按 supplier 下钻 Then 正确分割
TC-02-03	下钻查询 <3s	Performance	Given 大数据量 When 执行下钻 Then 响应 <3s
TC-02-04	无数据范围返回空图表	Edge	Given 无数据 When 下钻 Then 显示空图表而非报错
TC-02-NEG-01	下钻不存在的 service 返回空结果/404	Negative	Given 不存在的 service When 下钻 Then 返回空结果或 404
TC-02-NEG-02	超大时间范围返回 413/截断	Negative	Given 超大时间范围 When 下钻 Then 返回 413 或自动截断

AC-03 告警规则配置

用例 ID	描述	类型	覆盖条件
TC-03-01	创建告警规则	Happy Path	Given 登录管理员 When 创建规则 Then 规则保存成功
TC-03-02	规则字段完整性校验	Negative	Given 缺少必填字段 When 创建规则 Then 返回 400
TC-03-03	规则变更 30s 内生效	Functional	Given 规则已创建 When 修改阈值 Then 30s 后新规则生效
TC-03-04	支持 50 条规则并发运行	Load	Given 50 条规则 When 同时触发 Then 全部正确评估
TC-03-05	规则编辑/禁用/删除	Functional	Given 规则存在 When 编辑/禁用/删除 Then 状态正确变更

AC-04 告警通知触达

用例 ID	描述	类型	覆盖条件
TC-04-01	P0/P1 告警 30s 内通知	Performance	Given P1 告警触发 When 通知发送 Then ≤30s 到达
TC-04-02	P2 告警 120s 内通知	Performance	Given P2 告警触发 When 通知发送 Then ≤120s 到达
TC-04-03	至少 2 种通知渠道	Functional	Given 告警触发 When 发送 Then 飞书和邮件均收到
TC-04-04	通知内容完整性	Functional	Given 告警发送 Then 包含级别/规则名/时间/当前值/阈值/事件ID/链接
TC-04-05	Webhook 通知失败后自动切换	Resilience	Given Webhook 发送失败 When 告警触发 Then 自动切换至邮件
TC-04-NEG-01	通知渠道全部失效时记录失败并触发内部告警	Negative	Given 所有通知渠道失效 When 告警触发 Then 记录失败并触发内部 P2 告警
TC-04-NEG-02	非法事件 ID 查询返回 404	Negative	Given 非法事件 ID When 查询事件 Then 返回 404

AC-05 告警聚合与抑制

用例 ID	描述	类型	覆盖条件
TC-05-01	1 分钟内 >20 条告警触发聚合	Functional	Given 同一资源 1min 内触发 25 条 When 聚合 Then 生成 1 条集群告警
TC-05-02	集群告警包含累计数量和规则列表	Functional	Given 集群告警生成 Then 内容包含数量≥20 和规则列表
TC-05-03	5 分钟抑制期内同一规则不重复通知	Functional	Given 告警已发送 When 5min 内再次触发 Then 不重复通知
TC-05-04	级别升级时抑制解除	Functional	Given P2 告警抑制中 When 升级为 P1 Then 立即通知
TC-05-NEG-01	聚合阈值设置为 0 或负数时的校验拒绝	Negative	Given 阈值为 0 或负数 When 创建/编辑规则 Then 返回 400 并拒绝

AC-06 自动自愈

用例 ID	描述	类型	覆盖条件
TC-06-01	自愈动作 60s 内完成	Performance	Given 自愈规则触发 When 执行切换路由 Then ≤60s 完成含重试
TC-06-02	自愈成功记录事件	Happy Path	Given 自愈执行成功 When 完成 Then 事件记录 success
TC-06-03	自愈失败升级 P0 人工告警	Functional	Given 自愈重试均失败 When 停止 Then 升级 P0 通知
TC-06-04	无自愈规则时仅通知	Functional	Given 告警无自愈配置 When 触发 Then 仅发送通知
TC-06-05	沙盒模式：自愈不生效	Resilience	Given 沙盒模式 When 自愈触发 Then 仅记录，不实际执行
TC-06-06	自愈后 2min 评估是否解除	Functional	Given 自愈执行 When 2min 后 Then 评估条件是否满足
TC-06-07	自愈级联失败回退	Functional	Given 自愈切换导致新故障 When 检测到 Then 回退并升级
TC-06-NEG-01	沙盒未通过时禁止关联生产规则	Negative	Given 沙盒测试未通过 When 关联生产告警规则 Then 返回 400 并拒绝
TC-06-NEG-02	自愈动作类型非法返回 400	Negative	Given 非法自愈动作类型 When 配置规则 Then 返回 400

AC-07 配置审计日志

用例 ID	描述	类型	覆盖条件
TC-07-01	配置变更 1s 内生成审计记录	Performance	Given 执行配置变更 When 完成 Then ≤1s 审计记录存在
TC-07-02	审计字段完整性	Functional	Given 审计记录 When 查询 Then 包含全部 10 个字段
TC-07-03	审计日志不可篡改	Security	Given 审计记录 When 尝试修改 Then 数据库层拒绝或被检测
TC-07-04	审计日志 90 天保留	Functional	Given 审计数据 91 天 When 查询 Then 91 天前记录不存在（新数据已清理）
TC-07-05	审计查询 <3s	Performance	Given 10000 条审计记录 When 按条件查询 Then <3s

AC-08 配置回滚

用例 ID	描述	类型	覆盖条件
TC-08-01	正常回滚 <60s	Performance	Given 审计记录存在 When 执行回滚 Then ≤60s 完成
TC-08-02	回滚前显示子资源影响列表	Functional	Given 回滚操作 When 执行前 Then 显示将被覆盖的子资源
TC-08-03	回滚生成新审计记录	Functional	Given 回滚执行 When 完成 Then 新审计记录关联原始 ID
TC-08-04	目标不存在时返回 OPS_AUD_4101	Negative	Given 目标已被删除 When 执行回滚 Then 返回错误码且不执行
TC-08-05	回滚失败不静默	Resilience	Given 回滚执行失败 When 完成 Then 返回错误码并通知

AC-09 容量主板

用例 ID	描述	类型	覆盖条件
TC-09-01	显示 7 天趋势数据	Functional	Given 容量主板 When 加载 Then 显示 7 天 Token/QPS/延迟趋势
TC-09-02	负载等级标注（正常/警告/过载）	Functional	Given 负载数据 When 展示 Then 正确标注等级
TC-09-03	预测触达上限时间	Functional	Given 增长率数据 When 计算 Then 显示预测时间（仅供参考）
TC-09-NEG-01	容量主板数据源丢失时展示降级提示	Negative	Given 时序库断开 When 访问容量主板 Then 显示降级提示而非错误

AC-10 日志/指标查询

用例 ID	描述	类型	覆盖条件
TC-10-01	按多维度筛选日志	Functional	Given 查询条件 When 执行 Then 正确过滤
TC-10-02	日志查询 <3s	Performance	Given 10000 条日志 When 查询 Then <3s
TC-10-03	CSV 导出 10000 条	Load	Given 查询结果 When 导出 Then 正确生成 CSV
TC-10-04	分页查询第 2 页	Functional	Given 分页请求 When 获取第 2 页 Then 返回正确偏移
TC-10-NEG-01	导出超过 10000 条时返回 413 或分批	Negative	Given 查询结果 >10000 条 When 导出 CSV Then 返回 413 或自动分批导出

AC-11 监控数据保存

用例 ID	描述	类型	覆盖条件
TC-11-01	原始数据保留 ≥7 天	Functional	Given 8 天前数据 When 查询 Then 7 天内数据存在
TC-11-02	分钟级聚合保留 ≥30 天	Functional	Given 31 天前数据 When 查询 Then 31 天前不存在
TC-11-03	小时级聚合保留 ≥90 天	Functional	Given 91 天前数据 When 查询 Then 不存在
TC-11-NEG-01	查询已清理数据返回空并提示保留策略	Negative	Given 查询已清理时段 When 查询原始数据 Then 返回空并提示保留策略

AC-12 角色与权限

用例 ID	描述	类型	覆盖条件
TC-12-01	查看者只能读不可写	Security	Given 查看者 When 尝试写操作 Then 返回 403
TC-12-02	运维人员不可执行回滚	Security	Given 运维人员 When 执行回滚 Then 返回 403
TC-12-03	管理员可执行所有操作	Functional	Given 管理员 When 执行任意操作 Then 成功

4. 异常流程测试（F-01 ~ F-08）

用例 ID	异常场景	验证点	预期行为
TF-01	自愈动作重试均失败	P0 人工告警触发	10s 内重试 1 次，失败后立即升级 P0 电话/短信
TF-02	通知渠道失效（Webhook 5xx）	备用渠道切换	记录失败，使用邮件→飞书→短信三次切换
TF-03	回滚目标已不存在	OPS_AUD_4101	返回错误码，运营手动修复
TF-04	指标采集器 5min 无数据	数据源丢失标识	控制台显示丢失标识，触发 P2 内部告警
TF-05	审计日志存储满盘	降级不阻断业务	丢弃非关键字段或异步上报，业务操作继续
TF-06	自愈形成级联故障	回退并升级	自动恢复上一步，升级人工告警，立即电话通知
TF-07	监控数据库全面中断	只读/降级模式	控制台只读，告警引擎本地缓存继续运行
TF-08	实时看板指标计算超时	显示上次结果	显示上次成功结果并标注时间戳

5. 灰度发布验证计划

5.1 各 Phase 验证内容

Phase	验证内容	通过标准	回归集
Phase 1	监控看板 + 日志查询	AC-01, AC-02, AC-10, AC-11 全部通过	无历史功能
Phase 2	告警规则 + 通知渠道	AC-03, AC-04, AC-05 全部通过	Phase 1 全量
Phase 3	自愈引擎 + 审计回滚	AC-06, AC-07, AC-08 全部通过 + 沙盒 10 次无误触发	Phase 1+2 全量
Phase 4	容量主板	AC-09 全部通过	Phase 1+2+3 全量

5.2 灰度门禁检查项

每次 Phase 升级前必须全部通过：

所有 AC 测试用例 100% 通过
单元测试覆盖率达标（domain ≥70%, service ≥80%）
自愈沙盒验证 ≥10 次无误触发
回滚演练（至少 3 个资源类型）成功
性能基准测试通过（响应时间符合 AC 要求）
安全扫描通过（无高危漏洞）

6. 回归测试集

6.1 快速回归集（每次 PR）

TC-01-01, TC-01-02, TC-03-01, TC-03-03, TC-04-01, TC-07-01, TC-07-02, TC-12-01, TC-12-03
共 9 条，约 5-10 分钟

6.2 完整回归集（每次 Phase 升级）

TC-01-01 ~ TC-01-04, TC-01-NEG-01, TC-01-NEG-02
TC-02-01 ~ TC-02-04, TC-02-NEG-01, TC-02-NEG-02
TC-03-01 ~ TC-03-05
TC-04-01 ~ TC-04-05, TC-04-NEG-01, TC-04-NEG-02
TC-05-01 ~ TC-05-04, TC-05-NEG-01
TC-06-01 ~ TC-06-07, TC-06-NEG-01, TC-06-NEG-02
TC-07-01 ~ TC-07-05
TC-08-01 ~ TC-08-05
TC-09-01 ~ TC-09-03, TC-09-NEG-01
TC-10-01 ~ TC-10-04, TC-10-NEG-01
TC-11-01 ~ TC-11-03, TC-11-NEG-01
TC-12-01 ~ TC-12-03
TF-01 ~ TF-08
共 53 条，约 30-60 分钟

7. 技术栈与集成约束验证

7.1 统一技术栈与双运行模式验证

用例 ID	描述	类型	验证条件
TOPS-RUN-01	独立运行模式启动	Happy Path	Given 独立 `config.yaml` 与独立数据库/Redis/时序库 When 启动 `cmd/ai-ops/main.go` Then `/actuator/health/ready` 返回 200，`/api/v1/ai-ops/*` 可访问
TOPS-RUN-02	集成运行模式挂载	Integration	Given gateway 或 supply-api 主进程加载 `IntegrationPlugin` When 启动 Then `/internal/ai-ops/*` 路由、后台 worker、健康检查挂载成功
TOPS-RUN-03	配置分离加载	Functional	Given 独立模式与集成模式分别启动 When 读取配置 Then 独立模式仅使用自身配置，集成模式正确合并主项目配置
TOPS-RUN-04	数据库前缀隔离	Structural	Given 执行迁移 When 检查 schema Then 仅创建 `ai_ops_` 前缀表

7.2 独立运行与集成运行验证

7.3 IntegrationPlugin 与模块挂载验证

用例 ID	描述	类型	验证条件
TOPS-PLG-01	IntegrationPlugin 注册路由与健康检查	Integration	Given 集成模式 When 插件注册 Then 监控、告警、日志、审计、健康检查路由挂载成功
TOPS-PLG-02	模块开关生效	Functional	Given `enabled_modules` 关闭某模块 When 启动 Then 对应路由/后台任务不注册，其他模块不受影响
TOPS-PLG-03	集成模式共享资源	Integration	Given 主进程注入共享 DB/Redis/logger/metrics client When 插件启动 Then 使用共享资源且不重复初始化冲突依赖

7.3 OpenAPI 契约验证

用例 ID	描述	类型	验证条件
TOPS-OAS-01	OpenAPI 文档可访问	Functional	Given 服务启动 When 请求 `/openapi.json` 或 `/docs` Then 返回 200 且包含监控、告警、自愈、审计、日志查询接口
TOPS-OAS-02	路由与 OpenAPI 一致	Contract	Given 导出的 OpenAPI 文档 When 对照 HTTP 路由 Then 请求/响应/错误码与实现一致，无缺失公开接口
TOPS-OAS-03	集成前缀可配置	Contract	Given 集成模式配置内部前缀 When 导出文档 Then 文档反映 `/internal/ai-ops/` 前缀或明确区分外部/内部暴露面

7.4 NewAPI / Sub2API 适配层验证

用例 ID	描述	类型	验证条件
TOPS-ADP-01	`/metrics` 采集适配	Contract	Given NewAPI/Sub2API 通过 Prometheus scrape 拉取指标 When 调用 `/metrics` Then 指标命名、label、采样频率满足契约
TOPS-ADP-02	告警回调适配	Integration	Given 外部系统配置 Webhook 回调 When 告警触发 Then 回调内容完整、签名正确、失败可重试
TOPS-ADP-03	自愈脚本调用外部管理 API	Integration	Given 自愈动作触发程序化脚本 When 通过适配层调用 NewAPI/Sub2API Then 鉴权、错误码映射、回退逻辑符合设计

8. 发布门禁与阶段结论

8.1 发布门禁检查表

以下门禁项全部通过前，不得进入生产交付：

独立运行与集成运行模式均完成启动验证，路由、worker、健康检查真实挂载
BuildServer / BuildRuntime 中条件能力已显式接入，而非仅存在定义
OpenAPI、/metrics、Webhook、管理 API 的鉴权与字段边界合同测试通过
自愈动作均完成沙盒验证、快照记录与回滚演练
审计日志保证先写审计再执行业务，高风险操作审计失败即拒绝
viewer / operator / admin 三类角色权限矩阵验证通过
告警洪泛、自愈误触发、时序库中断、通知渠道失效四类高风险回归全部通过
至少一条真实故障检测 → 告警 → 通知/回滚链路完成端到端验证

8.2 阶段门控结论

当前结论：REQUEST_CHANGES（已转化为具体行动项，见 HLD 10.2 节）

进入开发/实现前必须补齐：

将 HLD 中的威胁建模点全部下沉为可执行测试与阻断项（每个威胁场景必须有对应 CI 阻断测试用例）。
为"定义 → 装配 → 调用 → 入口"四层链路补充 QA 检查要求，重点覆盖自愈、告警、审计、权限。
分别给出独立模式与集成模式的最小验证命令、预期输出与失败判定。
高风险变更必须 fail-closed：影响面 > 50% 的变更在审计写入失败时必须拒绝执行。

阻断条件（任一触发则不得进入开发）：

高风险动作没有沙盒/回滚闭环。
审计不能证明先写后执行业务。
关键能力只存在接口声明，未真实接入运行主链路。
HLD 门控 8.1 中任意一项未通过。

9. 性能测试

9.1 性能基准

指标	目标值	压测方法
首页加载	<2s (P99)	k6 并发 50 用户
告警触发到通知	P0/P1 <30s, P2 <120s	单次告警触发计时
下钻查询	<3s (P99)	k6 并发 20 用户
审计查询	<3s (P99)	10000 条数据下查询
配置回滚	<60s (P99)	单次回滚计时
支持并发告警规则	≥50 条同时评估	并发注入 50 条告警数据

10. 安全测试

测试项	方法	验证点
权限越界	使用低权限 Token 尝试高权限操作	返回 403
审计日志篡改	尝试 UPDATE/DELETE 审计表	操作被拒绝或被检测
SQL 注入	输入 `' OR 1=1 --` 等	参数化查询无注入
告警信息泄露	跨用户查询告警	无数据泄露
高风险变更未二次确认	提交影响 90% 流量的变更	变更被标记待确认

22 KiB Raw Permalink Blame History Unescape Escape