niuniu/ai-customer-service
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
main
ai-customer-service/docs/ROLLBACK_DRILL_RECORD.md

4.6 KiB
Raw Permalink Blame History

ROLLBACK_DRILL_RECORD.md

状态：✅ 已完成实测
最近一次更新：2026-05-05
目标：沉淀 Gate C 回滚演练的可复跑证据，而不是只保留 runbook 描述

1. 验证范围

本记录对应 Gate C 回滚演练脚本：

脚本覆盖的检查项：

  1. 当前源码重新构建与 baseline 启动
  2. baseline live / ready 探针成功
  3. baseline signed webhook 联调成功
  4. 模拟错误发布导致服务无法 ready
  5. 立即回滚到 baseline 配置并重启
  6. 回滚后 live / ready 恢复成功
  7. 回滚后 signed webhook / dedup / ticket / audit 主链恢复成功

2. 实测记录（2026-05-05）

  • 时间：2026-05-05 10:16 CST
  • 环境：本机容器化 + 本地 PostgreSQL（端口 5434）
  • 基线提交：当前工作区最新源码
  • 运行 ID：gatec-rollback-20260505101646
  • 产物目录：/tmp/ai-customer-service-gate-c-rollback/gatec-rollback-20260505101646

执行命令：

AI_CS_RUNTIME_ENV=production \
AI_CS_ADDR=127.0.0.1:18081 \
AI_CS_POSTGRES_ENABLED=true \
AI_CS_POSTGRES_DSN='host=localhost port=5434 user=ai_cs password=ai_cs_secret dbname=ai_customer_service sslmode=disable' \
AI_CS_POSTGRES_MIGRATION_DIR='/home/long/project/ai-customer-service/db/migration' \
AI_CS_WEBHOOK_SECRET='gate-c-secret-20260505' \
AI_CS_WEBHOOK_TIMESTAMP_HEADER='X-CS-Timestamp' \
AI_CS_WEBHOOK_SIGNATURE_HEADER='X-CS-Signature' \
AI_CS_WEBHOOK_MAX_SKEW_SECONDS=300 \
scripts/verify_gate_c_rollback.sh

结果摘要：

指标 值
PASS 总数 25
FAIL 总数 0
baseline message_id gatec-rollback-20260505101646-baseline-message
rollback message_id gatec-rollback-20260505101646-rollback-message
rollback ticket_id a2307c4f-0a2c-406c-ad19-e9ebfe927d40
rollback session_id 79447f0d-6ca4-4d3f-99ee-e0a6df311731
baseline 日志 /tmp/ai-customer-service-gate-c-rollback/gatec-rollback-20260505101646/baseline-service.log
broken release 日志 /tmp/ai-customer-service-gate-c-rollback/gatec-rollback-20260505101646/broken-service.log
rolled-back 日志 /tmp/ai-customer-service-gate-c-rollback/gatec-rollback-20260505101646/rolled-back-service.log

关键通过项（25/25）：

  1. ✅ 当前源码成功构建
  2. ✅ baseline 服务启动（pid=2064155）
  3. ✅ baseline live + ready 探针通过
  4. ✅ baseline signed webhook HTTP 200
  5. ✅ baseline webhook response received=true
  6. ✅ baseline webhook response handoff=true
  7. ✅ baseline 服务正常停止
  8. ✅ broken release 进程启动（模拟错误发布）
  9. ✅ broken release 进程按预期退出（never became ready）
  10. ✅ 回滚重启后服务启动（pid=2064338）
  11. ✅ 回滚后 live + ready 探针通过
  12. ✅ 回滚后 signed webhook HTTP 200
  13. ✅ 回滚后 webhook response received=true
  14. ✅ 回滚后 webhook response handoff=true
  15. ✅ 回滚后 webhook 返回 ticket_id + session_id
  16. ✅ 回滚后 webhook 创建 open 状态工单
  17. ✅ 回滚后 dedup 行持久化
  18. ✅ 回滚后 message_processed audit 持久化
  19. ✅ 回滚后工单关联 session 验证通过
  20. ✅ gate-c rollback drill 整体通过

3. Gate B 实测记录（2026-05-05 同轮）

  • 时间：2026-05-05 10:16 CST
  • 运行 ID：gateb-20260505101654
  • 产物目录：/tmp/ai-customer-service-preprod-gate-b/gateb-20260505101654
指标 值
PASS 总数 30
FAIL 总数 0
ticket_id b183631d-e551-47c5-a719-f0f0f3d1adba
session_id 41bcaf30-4ac8-48cb-844c-a87a582e9429
message_id gateb-20260505101654-message

关键通过项（30/30）：构建、postgres 连通、migration 账本、live/ready、webhook 签名、dedup、ticket assign/resolve/close 全链路、audit 入库。

4. 当前结论

✅ 已确认

  • 本地/容器化 Gate B：通过（30/30 PASS）
  • 本地/容器化 Gate C 回滚演练：通过（25/25 PASS）
  • 真实 PostgreSQL 工单闭环（assign → resolve → close）：已验证
  • 审计日志多层持久化（workflow store + handler）：已验证
  • 回滚后主链路完全恢复：已验证

⚠️ 仍未确认

  • 真实共享预生产环境 Gate B：尚未执行同脚本复跑
  • 真实共享预生产/灰度环境监控接线：未完成
  • 5% 灰度稳定性：未执行

本次结论已从"脚本已建立"升级为"本地/容器化实测通过"。但真实共享预生产和灰度环境仍需单独验证，不能混淆为同一结论。

最后更新：2026-05-05 by 宰相

Reference in New Issue View Git Blame Copy Permalink