114 lines
8.4 KiB
Markdown
114 lines
8.4 KiB
Markdown
# AI-Ops 测试用例
|
||
|
||
> 版本：v1.0 | 状态：初稿
|
||
|
||
---
|
||
|
||
## AC-1 实时监控看板
|
||
|
||
| 用例编号 | 名称 | 前置条件 | 测试步骤 | 预期结果 | 优先级 |
|
||
|---------|------|---------|---------|---------|--------|
|
||
| TC-1.1 | 首页加载时间 | 服务运行中，指标数据已采集 | 1. 访问运维主控台首页 2. 记录首屏加载时间 | 加载时间 < 2s | P0 |
|
||
| TC-1.2 | 六大指标显示 | 指标数据已采集 | 1. 访问首页 2. 检查指标卡片 | 必须显示 QPS、平均延迟、P99 延迟、5xx 错误率、活跃供应商数量、未关闭告警数量 | P0 |
|
||
| TC-1.3 | 指标刷新延迟 | 指标数据已更新 | 1. 触发新指标数据写入 2. 记录前端刷新时间 | 15s 内刷新显示 | P0 |
|
||
|
||
## AC-2 指标下钻
|
||
|
||
| 用例编号 | 名称 | 前置条件 | 测试步骤 | 预期结果 | 优先级 |
|
||
|---------|------|---------|---------|---------|--------|
|
||
| TC-2.1 | 趋势图展示 | 存在 1 小时指标数据 | 1. 点击某指标卡片 2. 观察趋势图 | 展示过去 1 小时分钟级数据 | P0 |
|
||
| TC-2.2 | 下钻分割 | 存在多服务/路径/供应商数据 | 1. 选择下钻维度 2. 查看分割结果 | 支持 service、path、supplier 维度 | P1 |
|
||
| TC-2.3 | 下钻查询时间 | 大量数据存在 | 1. 执行下钻查询 2. 记录响应时间 | 查询时间 < 3s | P0 |
|
||
|
||
## AC-3 告警规则配置
|
||
|
||
| 用例编号 | 名称 | 前置条件 | 测试步骤 | 预期结果 | 优先级 |
|
||
|---------|------|---------|---------|---------|--------|
|
||
| TC-3.1 | 创建规则 | 登录运维人员 | 1. 填写规则名称、指标、阈值、持续时间、级别、通知渠道 2. 提交 | 规则创建成功，返回规则 ID | P0 |
|
||
| TC-3.2 | 缺少字段报错 | 登录运维人员 | 1. 提交空规则名称 2. 提交 | 返回 400 错误，提示缺少字段 | P1 |
|
||
| TC-3.3 | 规则生效时间 | 规则已创建 | 1. 创建规则 2. 30s 后触发相关指标超阈值 | 规则生效，触发告警 | P0 |
|
||
| TC-3.4 | 同时运行 50 条规则 | 已创建 50 条规则 | 1. 创建 50 条规则 2. 观察系统运行 | 50 条规则同时运行不崩溃 | P1 |
|
||
|
||
## AC-4 告警通知触达
|
||
|
||
| 用例编号 | 名称 | 前置条件 | 测试步骤 | 预期结果 | 优先级 |
|
||
|---------|------|---------|---------|---------|--------|
|
||
| TC-4.1 | P0 告警触发时间 | P0 规则已配置 | 1. 模拟指标超阈值 2. 记录通知发送时间 | 通知发送时间 < 30s | P0 |
|
||
| TC-4.2 | P2 告警触发时间 | P2 规则已配置 | 1. 模拟指标超阈值 2. 记录通知发送时间 | 通知发送时间 < 120s | P0 |
|
||
| TC-4.3 | 通知渠道覆盖 | 规则已配置 | 1. 配置 Webhook、邮件、飞书通知 2. 触发告警 | 所有配置渠道均收到通知 | P0 |
|
||
| TC-4.4 | 通知模板完整性 | 规则已配置 | 1. 触发告警 2. 检查通知内容 | 包含级别、规则名称、触发时间、当前值、阈值、事件 ID、查看链接 | P1 |
|
||
|
||
## AC-5 告警聚合与抑制
|
||
|
||
| 用例编号 | 名称 | 前置条件 | 测试步骤 | 预期结果 | 优先级 |
|
||
|---------|------|---------|---------|---------|--------|
|
||
| TC-5.1 | 集群告警触发 | 规则已配置 | 1. 1 分钟内模拟触发 >20 条同资源告警 | 生成 1 条集群告警，停止单条通知 | P0 |
|
||
| TC-5.2 | 抑制周期 | 规则已配置 | 1. 触发告警 2. 5 分钟内再次触发同规则同目标 | 仅发送 1 次通知（除非级别升级） | P0 |
|
||
|
||
## AC-6 自动自愈
|
||
|
||
| 用例编号 | 名称 | 前置条件 | 测试步骤 | 预期结果 | 优先级 |
|
||
|---------|------|---------|---------|---------|--------|
|
||
| TC-6.1 | 自愈动作配置 | 规则已配置 | 1. 为规则配置自愈动作 2. 模拟触发 | 自愈动作在 60s 内执行完成 | P0 |
|
||
| TC-6.2 | 自愈执行结果记录 | 自愈已执行 | 1. 执行自愈动作 2. 检查告警事件 | 记录执行结果（成功/失败/拒绝） | P1 |
|
||
| TC-6.3 | 自愈失败升级 | 自愈动作配置 | 1. 模拟自愈失败 2. 观察 2 分钟 | 升级为人工告警 | P0 |
|
||
|
||
## AC-7 配置审计日志
|
||
|
||
| 用例编号 | 名称 | 前置条件 | 测试步骤 | 预期结果 | 优先级 |
|
||
|---------|------|---------|---------|---------|--------|
|
||
| TC-7.1 | 审计日志生成 | 登录管理员 | 1. 修改配置 2. 1s 内查询审计日志 | 生成审计记录，包含所有必要字段 | P0 |
|
||
| TC-7.2 | 审计日志不可篡改 | 审计日志已生成 | 1. 尝试直接修改数据库审计记录 | 修改被拒绝或不影响查询结果 | P1 |
|
||
| TC-7.3 | 审计查询效率 | 存在大量审计记录 | 1. 查询审计日志 2. 记录响应时间 | 响应时间 < 3s | P1 |
|
||
|
||
## AC-8 配置回滚
|
||
|
||
| 用例编号 | 名称 | 前置条件 | 测试步骤 | 预期结果 | 优先级 |
|
||
|---------|------|---------|---------|---------|--------|
|
||
| TC-8.1 | 回滚成功 | 存在可回滚的审计记录 | 1. 选择审计记录 2. 执行回滚 3. 确认覆盖内容 | 回滚成功，生成新审计记录 | P0 |
|
||
| TC-8.2 | 回滚目标不存在 | 目标资源已删除 | 1. 尝试回滚已删除的资源 | 返回错误码 `OPS_AUD_4101` | P0 |
|
||
| TC-8.3 | 回滚二次确认 | 回滚将影响多个子资源 | 1. 执行回滚 2. 观察提示 | 显示将要覆盖的子资源列表 | P1 |
|
||
|
||
## AC-9 容量主板
|
||
|
||
| 用例编号 | 名称 | 前置条件 | 测试步骤 | 预期结果 | 优先级 |
|
||
|---------|------|---------|---------|---------|--------|
|
||
| TC-9.1 | 趋势展示 | 存在 7 天数据 | 1. 访问容量主板 | 显示 7 天趋势 | P1 |
|
||
| TC-9.2 | 负载等级 | 指标数据已采集 | 1. 调整阈值 2. 观察等级变化 | 正确标注正常/警告/过载 | P1 |
|
||
|
||
## AC-10 日志/指标查询
|
||
|
||
| 用例编号 | 名称 | 前置条件 | 测试步骤 | 预期结果 | 优先级 |
|
||
|---------|------|---------|---------|---------|--------|
|
||
| TC-10.1 | 日志筛选 | 存在日志数据 | 1. 按时间范围、服务、状态码筛选 | 返回符合条件的日志 | P0 |
|
||
| TC-10.2 | 日志分页 | 存在大量日志 | 1. 查询日志 2. 分页浏览 | 首页返回时间 < 3s，单页 100 条 | P1 |
|
||
| TC-10.3 | 日志导出 | 存在日志数据 | 1. 导出日志为 CSV | 成功导出，单次上限 10000 条 | P1 |
|
||
|
||
## AC-11 监控数据保存
|
||
|
||
| 用例编号 | 名称 | 前置条件 | 测试步骤 | 预期结果 | 优先级 |
|
||
|---------|------|---------|---------|---------|--------|
|
||
| TC-11.1 | 原始数据保留 | 已采集指标 | 1. 等待 7 天 2. 查询 7 天前的原始数据 | 数据仍可查询 | P1 |
|
||
| TC-11.2 | 聚合数据保留 | 已采集指标 | 1. 等待 30 天 2. 查询分钟级数据 | 分钟级聚合数据可查，原始数据已清理 | P1 |
|
||
|
||
## AC-12 角色与权限
|
||
|
||
| 用例编号 | 名称 | 前置条件 | 测试步骤 | 预期结果 | 优先级 |
|
||
|---------|------|---------|---------|---------|--------|
|
||
| TC-12.1 | 查看者权限 | 登录查看者 | 1. 尝试修改配置 | 操作被拒绝（返回 403） | P1 |
|
||
| TC-12.2 | 运维人员权限 | 登录运维人员 | 1. 确认告警 2. 尝试回滚 | 确认成功，回滚被拒绝 | P1 |
|
||
| TC-12.3 | 管理员权限 | 登录管理员 | 1. 执行回滚 | 回滚成功 | P0 |
|
||
|
||
## 边缘场景 / 失败路径
|
||
|
||
| 用例编号 | 名称 | 前置条件 | 测试步骤 | 预期结果 | 优先级 |
|
||
|---------|------|---------|---------|---------|--------|
|
||
| TC-E1 | 自愈动作重试均失败 | 自愈动作已配置 | 1. 模拟自愈失败 2 次 | 升级为 P0 人工告警 | P0 |
|
||
| TC-E2 | 通知渠道失效 | 通知渠道已配置 | 1. 模拟 Webhook 8xx 2. 观察切换 | 切换至备用渠道 | P1 |
|
||
| TC-E3 | 回滚目标不存在 | 目标已删除 | 1. 尝试回滚 | 返回错误码 | P1 |
|
||
| TC-E4 | 数据源丢失 | 采集器运行中 | 1. 停止采集器 5 分钟 | 显示数据源丢失标识，触发 P2 告警 | P1 |
|
||
| TC-E5 | 审计日志存储满盘/写入失败 | 审计日志存储满盘或写入失败 | 1. 模拟存储满盘或写入失败 2. 执行配置变更操作 | 丢弃非关键字段或改为异步上报，不阻断业务操作；记录降级事件 | P1 |
|
||
| TC-E6 | 自愈动作触发后形成级联故障 | 自愈动作已配置 | 1. 触发自愈动作（如切换路由） 2. 模拟新节点故障 | 自动恢复上一步操作前的状态，然后升级为人工告警 | P0 |
|
||
| TC-E7 | 时序库全面中断 | 监控系统运行中 | 1. 断开时序数据库连接 | 控制台进入只读/降级模式，告警引擎依赖本地缓存持续运行 | P0 |
|
||
| TC-E8 | 看板计算超时 | 看板有历史数据 | 1. 模拟查询引擎超时 2. 请求看板指标 | 显示上次成功结果并标注时间戳，不等待当前请求 | P1 |
|