Your Name fefe4c21cd fix(inc-20260425): A1+A2 後續 — Solver/Critic timeout + auto_repair 接線 + Runbook + Grafana ...

延續 595629c0 INC-20260425 修復，補三段 Agent + 全鏈路觀測：

A1 後續 — Solver/Critic 三段 timeout 接線:
- solver_agent.py: AGENT_SOLVER_TIMEOUT_SEC=20.0（env override）
- critic_agent.py: AGENT_CRITIC_TIMEOUT_SEC=15.0（env override）
- protocol.py: 三 Agent 共用 observe_agent_step() 包裹呼叫
  · success/timeout/error outcome label
  · histogram 寫入 aiops_agent_step_duration_seconds

A2 後續 — auto_repair_service 改用 _diagnose_fallback_chain:
- auto_repair_service.py +46 行 — 切換 DIAGNOSE 路由到新 chain（NEMO→GEMINI→CLAUDE）
- 完全避開 Ollama CPU 238s 二次 timeout

新增 metrics:
- core/metrics.py +59 行 — 配合 observe_agent_step 的 histogram bucket + label cardinality

新增測試 (862 行):
- test_agent_step_timeouts.py (475) — 三 Agent 各 timeout 邊界 + outcome label
- test_ai_router_diagnose_fallback.py (387) — _diagnose_fallback_chain 正確序

新增配套:
- docs/runbooks/RUNBOOK-AGENT-STEP-LATENCY.md (350) — INC 故障排查 + 觀測指引
- ops/monitoring/grafana/agent_step_latency_rules.yaml (160)
  · 三 Agent histogram alert rules（p99 > timeout 80% → warning）

驗收: 33 tests pass (test_agent_step_timeouts 22 + test_ai_router_diagnose_fallback 11)

INC-20260425 雙修總工作量（595629c0 + 此 commit）:
  · 5 個 service/agent 檔修改
  · 1 個新 observability 模組
  · 4 個新測試/配套檔
  · 1372+187 = 1559 行新增

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
Co-Authored-By: Claude Sonnet 4.6 (INC-20260425 後續) <noreply@anthropic.com>

2026-04-27 08:15:53 +08:00

..

agents

fix(execution-feedback): 修復系統自動化反饋完全斷鏈的三層 P0 故障

2026-04-25 03:29:38 +08:00

integration

fix(p0.4): Playbook 學習鏈三道修復 — partial index + race防護 + 手動路徑接線

2026-04-26 20:19:46 +08:00

llm_testing

fix(api): 修復全部 lint 錯誤 (ruff --fix)

2026-03-26 16:06:20 +08:00

__init__.py

fix(hermes): ANTHROPIC_API_KEY 注入 + solver 信心度修法 A + 12-Agent 治理文件

2026-04-25 02:33:43 +08:00

conftest.py

docs(logbook): ADR-059 Gitea Webhook 遷移完成記錄

2026-04-05 14:45:02 +08:00

e2e_network_test.py

refactor(api): Phase 22 P1 模組化修復 - Router→Service 封裝

2026-03-31 16:25:00 +08:00

factories.py

feat(test): B5 整合測試框架 — 真實 DB, 5/5 通過

2026-04-10 11:22:57 +08:00

test_action_parsing.py

fix(test): 更新 action_parsing 測試 — 無 -n 參數預設 namespace 改為 awoooi-prod

2026-04-06 11:49:24 +08:00

test_agent_step_timeouts.py

fix(inc-20260425): A1+A2 後續 — Solver/Critic timeout + auto_repair 接線 + Runbook + Grafana

2026-04-27 08:15:53 +08:00

test_ai_router_diagnose_fallback.py

fix(inc-20260425): A1+A2 後續 — Solver/Critic timeout + auto_repair 接線 + Runbook + Grafana

2026-04-27 08:15:53 +08:00

test_ai_router_failover_integration.py

fix(critic-hotfix): 4 修補 critic BLOCKER + HIGH（CD 阻塞 + 飛輪空轉）

2026-04-26 20:39:53 +08:00

test_ai_router_feedback.py

refactor(tests): 技術債清零 — 移除 FakeRepo/FakeSession Mock DB 違規

2026-04-22 01:33:30 +08:00

test_aider_event_models.py

fix(imports): CI 環境 import path 統一為 src.*（移除 apps.api.src.* PEP 420 假依賴）

2026-04-20 04:13:02 +08:00

test_aider_event_processor.py

fix(tests): 移 DB 測試到 integration 層修復 CI asyncpg 密碼錯誤

2026-04-22 01:41:34 +08:00

test_aider_event_service.py

feat(service): aider_event_service — classify + signal_data builder (uses existing debounce)

2026-04-20 19:40:01 +08:00

test_aider_events_api.py

feat(api): POST /api/v1/aider/events HMAC webhook + Redis stream push

2026-04-20 19:40:01 +08:00

test_alert_grouping_service.py

feat(adr-076): 戰術 B 四大 Task 全部完成 — 告警聚合+重試+自動報告

2026-04-14 14:39:14 +08:00

test_alert_rule_engine_validation.py

feat(adr-076): Task 2.2 + 2.3 — 規則擴充 + kubectl 注入防護

2026-04-14 15:10:10 +08:00

test_alertmanager_rule_bypass.py

fix(aiops): correct host alert fallback and resolved stamp

2026-04-25 00:14:07 +08:00

test_anomaly_counter.py

fix(api): 修復 34 個 Ruff lint 錯誤

2026-03-29 15:27:49 +08:00

test_approval_execution_retry.py

feat(adr-076): 戰術 B 四大 Task 全部完成 — 告警聚合+重試+自動報告

2026-04-14 14:39:14 +08:00

test_approval_field_alignment.py

fix(api): 修復 34 個 Ruff lint 錯誤

2026-03-29 15:27:49 +08:00

test_auto_repair_service.py

feat(wave6-8): P2.1 fusion + P2.2 governance + P2.4 consensus + Wave 7/8 BLOCKER 修復

2026-04-27 08:11:40 +08:00

test_callback_dispatcher.py

feat(Phase 5 Sprint 5.2): Callback dispatcher 接入真實 MCP registry

2026-04-14 20:43:40 +08:00

test_circuit_breaker.py

feat(api): Wave 1 安全網 - Circuit Breaker + Global Repair Cooldown

2026-03-29 15:48:03 +08:00

test_classify_alert_early.py

fix(alert): fingerprint 加 alertname 防跨告警指紋衝突 + 補入缺漏心跳分類

2026-04-12 22:50:20 +08:00

test_config_url_validation.py

feat(wave6-8): P2.1 fusion + P2.2 governance + P2.4 consensus + Wave 7/8 BLOCKER 修復

2026-04-27 08:11:40 +08:00

test_consensus_integration.py

feat(wave6-8): P2.1 fusion + P2.2 governance + P2.4 consensus + Wave 7/8 BLOCKER 修復

2026-04-27 08:11:40 +08:00

test_decision_fusion.py

feat(wave6-8): P2.1 fusion + P2.2 governance + P2.4 consensus + Wave 7/8 BLOCKER 修復

2026-04-27 08:11:40 +08:00

test_destructive_patterns.py

fix(review): 首席架構師 Code Review — c439277 Tier 3 紅區修補

2026-04-11 22:05:52 +08:00

test_failover_alerter.py

feat(wave6-8): P2.1 fusion + P2.2 governance + P2.4 consensus + Wave 7/8 BLOCKER 修復

2026-04-27 08:11:40 +08:00

test_failover_e2e_dispatch.py

feat(wave5-p2): GovernanceAgent 4 項自檢 + Ollama 健康告警規則 + Prometheus metrics 整合

2026-04-26 20:56:19 +08:00

test_failure_watcher.py

feat(api): Phase 18.6 E2E 測試驗證 (40 tests)

2026-03-31 12:16:54 +08:00

test_feature_flags.py

feat(adr-080): Phase 0 防護欄建立 — AI 自主化飛輪啟動

2026-04-15 12:44:53 +08:00

test_gap_a4_placeholder_resolution.py

fix(GAP-A4): 規則 Action 模板 placeholder 解析修復 — 解開 8.3h 飛輪沉默

2026-04-14 18:43:29 +08:00

test_get_incident_type.py

fix(review): 首席架構師 Code Review 修補 — I1 get_incident_type 邏輯修正 + 測試補全

2026-04-11 21:33:19 +08:00

test_gitea_webhook.py

feat(t0): Task A 按鈕一致性測試 + Task C Gitea→Telegram 通知收尾

2026-04-26 20:17:17 +08:00

test_global_repair_cooldown.py

fix(tests): 首席架構師審查修復 - 測試套件 + DI 強化 (96/100 OUTSTANDING)

2026-04-01 11:11:50 +08:00

test_governance_agent.py

feat(wave6-8): P2.1 fusion + P2.2 governance + P2.4 consensus + Wave 7/8 BLOCKER 修復

2026-04-27 08:11:40 +08:00

test_host_repair_agent.py

refactor(api): Re-Review S1/S2/S3 改善 — 消除重複+防禦性驗證+測試隔離

2026-04-07 11:17:40 +08:00

test_intent_classifier.py

fix(approval): 修復 Y/n 簽核按鈕無動作問題 (Phase 22 P1)

2026-03-31 16:16:16 +08:00

test_learning_chain_e2e.py

feat(wave4-5): P1.3+P1.4 真接線 + Ollama_188 provider 註冊 + quota atomic 修復

2026-04-26 20:44:19 +08:00

test_learning_service.py

fix(tests): 移除 Mock 違規 - test_learning_service.py

2026-03-31 12:20:29 +08:00

test_lifespan_failover_wiring.py

feat(p1): Ollama 多層容災系統 — P1.1 健康檢測 + P1.2 ai_router 整合 + P1.5 容災告警

2026-04-26 20:18:33 +08:00

test_llm_tier1_schema.py

fix(api): 修復全部 lint 錯誤 (ruff --fix)

2026-03-26 16:06:20 +08:00

test_mcp_tool_registry.py

feat(adr-081): Phase 1 感官縱深 — 8D 情報蒐集 + 執行後驗證

2026-04-15 13:08:38 +08:00

test_model_regression.py

fix(test): test_model_regression 加 @pytest.mark.integration（需 Ollama 服務）

2026-04-12 13:32:42 +08:00

test_nvidia_chat.py

refactor(ai): 模組化重構 - NVIDIA chat 移至 NvidiaProvider

2026-03-29 20:49:23 +08:00

test_nvidia_provider.py

fix(test): nvidia → openclaw_nemo 對齊 RATE_LIMITS/COST_LIMITS key (I3)

2026-04-03 14:00:21 +08:00

test_ollama_auto_recovery.py

feat(p1): Ollama 多層容災系統 — P1.1 健康檢測 + P1.2 ai_router 整合 + P1.5 容災告警

2026-04-26 20:18:33 +08:00

test_ollama_failover_manager.py

fix(inc-20260425): A1 三段 Agent timeout 拆分 + A2 DIAGNOSE 移除 Ollama

2026-04-27 08:15:10 +08:00

test_ollama_health_monitor.py

feat(p1): Ollama 多層容災系統 — P1.1 健康檢測 + P1.2 ai_router 整合 + P1.5 容災告警

2026-04-26 20:18:33 +08:00

test_p0_diagnose_routing.py

test(ai-router): 更新 DIAGNOSE routing 測試 — None → OPENCLAW_NEMO

2026-04-16 00:13:00 +08:00

test_p2_db_fixes.py

feat(wave6-8): P2.1 fusion + P2.2 governance + P2.4 consensus + Wave 7/8 BLOCKER 修復

2026-04-27 08:11:40 +08:00

test_phase22_nemotron_collab.py

feat(web): OpenClaw 風格龍蝦 SVG + 三色狀態燈號 + 測試修正

2026-04-09 08:55:21 +08:00

test_phase25_auto_harvesting.py

test(phase25): Phase 25 P1/P2 source code inspection tests (36 tests)

2026-04-05 00:14:50 +08:00

test_phase25_drift_detection.py

test(phase25): Phase 25 P1/P2 source code inspection tests (36 tests)

2026-04-05 00:14:50 +08:00

test_playbook_service.py

fix(api): 修復全部 lint 錯誤 (ruff --fix)

2026-03-26 16:06:20 +08:00

test_playbook_ssh_extraction.py

feat(adr-076): Task 3.3 — SSH 修復 KM 萃取（補齊飛輪雙手）

2026-04-14 15:19:54 +08:00

test_post_execution_verifier.py

feat(adr-081): Phase 1 感官縱深 — 8D 情報蒐集 + 執行後驗證

2026-04-15 13:08:38 +08:00

test_pre_decision_investigator.py

feat(adr-081): Phase 1 感官縱深 — 8D 情報蒐集 + 執行後驗證

2026-04-15 13:08:38 +08:00

test_prompt_validation.py

test: skip slow LLM prompt validation tests to fix CI timeout

2026-03-31 14:17:36 +08:00

test_rag_provider.py

fix(mcp): P1 修復 - DI 一致性 + 測試補充 + 配置優化

2026-03-29 16:23:30 +08:00

test_redis_multisig.py

fix(lint): ruff auto-fix + lewooogo-core src 加入 git

2026-03-23 23:51:37 +08:00

test_report_generation_service.py

feat(adr-076): 戰術 B 四大 Task 全部完成 — 告警聚合+重試+自動報告

2026-04-14 14:39:14 +08:00

test_sanitization_service.py

feat(adr-081): Phase 1 感官縱深 — 8D 情報蒐集 + 執行後驗證

2026-04-15 13:08:38 +08:00

test_secret_redactor.py

security(secrets): 替換 test fixture 真 TG bot token 為假值

2026-04-20 04:23:09 +08:00

test_smart_router.py

fix(test): ComplexityScorer 模型名稱更新 llama3.2:3b → gemma3:4b

2026-04-09 09:01:59 +08:00

test_telegram_adr050.py

fix(test): 更新 TestHistoryMessageFormat 適配 Phase 27 雙層策略

2026-04-10 01:12:00 +08:00

test_telegram_button_consistency.py

fix(test): 對齊 bb12647e 後群組卡片 6-part 鍵盤升級

2026-04-26 20:48:51 +08:00

test_telegram_integration.py

test(telegram): 修正測試斷言符合 ADR-075 中文風險等級

2026-04-12 21:08:48 +08:00

test_telegram_message_templates.py

test(telegram): 修正 test_telegram_message_templates 斷言

2026-04-12 21:20:16 +08:00

test_terminal_service.py

fix(approval): 修復 Y/n 簽核按鈕無動作問題 (Phase 22 P1)

2026-03-31 16:16:16 +08:00

test_terminal.py

fix(security): 體健修復 — 7項 Critical/Major 安全問題全修

2026-04-22 01:27:39 +08:00

test_wave8_fusion_fixes.py

feat(wave6-8): P2.1 fusion + P2.2 governance + P2.4 consensus + Wave 7/8 BLOCKER 修復

2026-04-27 08:11:40 +08:00