# 主機異常行程 AIOps PlayBook > 最後更新：2026-06-18 Asia/Taipei > 範圍：110 host CPU 滿載、orphan Chrome / Playwright smoke、Gitea Actions CI load、Prisma / package install 資源壓力分流。 --- ## 1. 目標 這份 PlayBook 把 2026-06-18 110 CPU 滿載事件固化成 AI Ops 閉環： ```text read-only exporter -> Prometheus alert -> AI triage packet -> KM / PlayBook evidence -> gated remediation -> post-check / recurrence guard ``` 它要解決的不是「CPU 高」這個泛用症狀，而是精準分辨： | 類型 | 判定 | 處理 | |------|------|------| | orphan browser smoke | headless Chrome / Chromium / Playwright process group 存活過久、PPID=1 或 group leader 消失、CPU 合計過高 | 走 dry-run 修復包；人工批准後可送 `SIGTERM` | | 合法 CI load | Gitea Actions task container 正在跑，沒有 orphan browser 指標 | 觀察 queue / timeout；不要誤殺 | | Docker / Sentry / Harbor 事故 | container restart、port down、journal error、cold-start gate blocked | 走各服務自己的 SOP，不使用本 PlayBook 殺 process | | swap 已滿但未 thrash | swap ratio 高但 `vmstat` / load 分類未顯示即時 thrash | 不手動清 swap；先降高 CPU 來源 | --- ## 2. 指標與告警 110 由 Ansible `host-textfile-exporters` 角色部署： ```text /home/wooo/scripts/host-runaway-process-exporter.py /home/wooo/scripts/host-runaway-process-remediation.py /home/wooo/node_exporter_textfiles/host_runaway_process.prom ``` 核心指標： | Metric | 意義 | |--------|------| | `awoooi_host_runaway_process_monitor_up{host="110"}` | exporter 是否正常輸出 | | `awoooi_host_runaway_browser_orphan_group_count{host="110",rule=...}` | 符合規則的 orphan browser process group 數 | | `awoooi_host_runaway_browser_orphan_cpu_percent{host="110",rule=...}` | orphan group CPU 合計 | | `awoooi_host_gitea_actions_active_container_count{host="110"}` | 目前 active Gitea Actions task containers | | `awoooi_host_load5_per_core{host="110"}` | load5 / CPU core | | `awoooi_host_swap_used_ratio{host="110"}` | swap 使用比例 | | `awoooi_host_runaway_process_remediation_authorized{host="110"}` | 必須永遠為 `0`；exporter 不是執行器 | 告警： | Alert | 條件 | 行動 | |-------|------|------| | `HostOrphanBrowserSmokeHighCpu` | orphan browser group `> 0` 且 CPU `>= 100%` 持續 10 分鐘 | 產生 dry-run 修復包，確認 owner / 維護窗口 / evidence | | `HostCiRunnerLoadSaturation` | load5/core `> 1.0` 且 active Gitea Actions `> 0` | 標為短期 CI 負載，檢查 runner queue，不直接 kill | | `HostRunawayProcessMonitorMissing` / `Stale` | exporter 缺失或超過 10 分鐘未更新 | 修 exporter / cron / textfile collector | | `HostRunawayProcessRemediationUnexpectedlyAuthorized` | `remediation_authorized > 0` | 立即回滾；禁止把監控器改成執行器 | Telegram / AI event packet contract: | Alert / input | Telegram lane | 必須顯示 | |---------------|---------------|----------| | `HostOrphanBrowserSmokeHighCpu` | `orphan_browser_smoke_runaway_process` | alertname、host、rule、runaway dry-run、owner / maintenance / evidence gate、KM / PlayBook / Verifier 回寫 | | `HostCiRunnerLoadSaturation` | `ci_runner_load_saturation` | Gitea Actions run、runner queue、load/core、swap trend、capacity / queue 判定、不做 process remediation | | raw `CPU 警告` / `ps aux` dump | `runner_build_resource_pressure`、`runner_prisma_generate_resource_pressure` 或 `host_resource_pressure_triage` | sanitized top process evidence，不顯示 raw workspace path、hosted toolcache path、`node_modules` path、外部 URL、JSON payload 或完整 process dump | 所有 Telegram 卡片都必須保留 `runtime_write_gate=0`，並不得把 alert/card 轉成直接 kill / restart / reload 指令。 Host / runner raw dump 進入 Telegram 前必須先被 `TelegramGateway` 壓成 `P1/P2/P3 主機資源壓力` 卡片。第一屏只允許顯示 CPU、load、root process count、AI lane、candidate gate、Top evidence 與禁止事項；完整命令列、套件 JSON、外部檢查 endpoint、內部 workspace path 與 raw `ps aux` 必須留在內部 evidence / timeline，不得外送。 應用內所有 `sendMessage` 都必須經過 `TelegramGateway._send_request()` 的最後出口正規化；如果是 Gitea workflow、Alertmanager receiver、主機 cron 或外部 bot 直接呼叫 Telegram Bot API，必須另外納入配置控管與 formatter 收斂，不能宣稱已由 API 端完全治理。 --- ## 3. AI Triager 必做判讀 收到 `HostOrphanBrowserSmokeHighCpu` 時，AI / operator 必須先產生 dry-run： ```bash python3 scripts/ops/host-runaway-process-remediation.py \ --rule stockplatform_headless_smoke \ --min-age-seconds 1800 \ --min-cpu-percent 50 ``` dry-run 必須檢查： 1. `candidate_count > 0`。 2. `orphan_reason` 是 `ppid_1` 或 `missing_group_leader`。 3. `oldest_age_seconds` 超過 PlayBook 門檻。 4. `active Gitea Actions` 與候選 process group 不是同一個仍在跑的合法 job。 5. 不是 Docker daemon、Sentry、Harbor、PostgreSQL、ClickHouse、K3s 或 backup 服務本體。 6. 已有 owner / 維護窗口 / evidence ref。 如果只看到 `HostCiRunnerLoadSaturation`，且 orphan group count 為 `0`，預設判定是「合法 CI 短期負載」，不得自動修復。 --- ## 4. Gated Remediation 真正送 `SIGTERM` 時必須帶齊三個 gate： ```bash python3 scripts/ops/host-runaway-process-remediation.py \ --apply \ --confirm-apply \ --rule stockplatform_headless_smoke \ --owner-approval-id OWNER-APPROVAL-REDACTED \ --maintenance-window-id MW-REDACTED \ --evidence-ref INC-REDACTED \ --wait-seconds 5 ``` 禁止事項： - 不可預設 `SIGKILL`。 - 不可因 CPU 高直接 `systemctl restart docker`。 - 不可重啟 Sentry / Harbor / Gitea / Nginx。 - 不可改 firewall / iptables / NetworkPolicy。 - 不可讀取或輸出 secret value、token、hash、prefix / suffix。 - 不可把 route 200、container up、UI 可見當成修復完成。 修復完成條件： ```text signaled_process_group_count > 0 remaining_after_wait = [] awoooi_host_runaway_browser_orphan_group_count == 0 load5/core 開始下降或維持可解釋 active Gitea Actions 若仍存在，告警降級為 CI load，而非 orphan smoke ``` --- ## 5. KM / PlayBook 回寫契約 每次觸發都要沉澱： | 資產 | 必填欄位 | |------|----------| | Incident evidence | alert name、host、rule、pgid count、cpu percent、oldest age、active CI count、swap ratio | | PlayBook run | dry-run payload、owner approval id、maintenance window id、evidence ref、actual signal summary | | KM entry | 根因分類、誤判防護、修復結果、recurrence guard | | Verifier | post-check 指標、load trend、orphan group count、runner queue state | | Work item | 如果缺 owner / evidence / maintenance window，建立補件項，不假性拉高 runtime gate | 產品上的結論必須分開呈現： ```text monitoring_ready=true alert_ready=true playbook_ready=true km_writeback_required=true runtime_remediation_authorized=false unless gated apply is executed ``` --- ## 6. 與重啟 SOP 的關係 110 重啟後，runner / CD / high-load batch 是最後釋出。若 service health green 但 load 持續高： 1. 先讀 `host_runaway_process.prom`。 2. orphan browser 指標紅：走本 PlayBook。 3. active CI 指標紅但 orphan 為 0：等待 / drain / workflow timeout，不走 kill。 4. Docker / systemd / storage / backup 指標紅：回到 `FULL-STACK-COLD-START-SOP.md` 對應章節。 這條 PlayBook 是 AI 自動化產品的 host CPU 專用閉環，不取代 cold-start scorecard，也不解除 credential escrow / DR gate。