# MOMO Pro System V10.0 - 全面優化計畫

> **版本**: V10.0 (計畫版)
> **日期**: 2026-02-14
> **作者**: CIO 辦公室
> **狀態**: 提案中

---

## 一、執行摘要

本計畫旨在將 MOMO Pro System 從當前 V9.4 升級至 V10.0，實現**企業級的穩定性、自動化運維、與商業智慧**能力。

### 核心目標

| 維度 | V9.4 現況 | V10.0 目標 |
|------|----------|-----------|
| **可用性** | 99% | 99.9% (每月最多 43 分鐘停機) |
| **MTTR** | 手動修復 30+ 分鐘 | 自動修復 < 5 分鐘 |
| **部署頻率** | 手動觸發 | 每日自動部署 (GitOps) |
| **監控覆蓋率** | 60% | 100% |
| **環境一致性** | 手動同步 | 自動同步 + 告警 |

---

## 二、現況分析

### 2.1 環境架構

```
┌─────────────────────────────────────────────────────────────────────────────┐
│                            現行雙環境架構                                     │
├─────────────────────────────────────────────────────────────────────────────┤
│                                                                             │
│  ┌─────────────────────────────────────────────────────────────────────┐   │
│  │                    UAT 主機 (192.168.0.110)                          │   │
│  │                    集中式監控與 BI 平台                               │   │
│  │                                                                     │   │
│  │  ┌─────────────┐  ┌─────────────┐  ┌─────────────┐                  │   │
│  │  │ K8s momo-app│  │  Superset   │  │  Metabase   │                  │   │
│  │  │ momo-sched  │  │  (Docker)   │  │  (Docker)   │                  │   │
│  │  │ momo-postgres│  └─────────────┘  └─────────────┘                  │   │
│  │  └─────────────┘                                                     │   │
│  │                                                                     │   │
│  │  ┌─────────────┐  ┌─────────────┐  ┌─────────────┐                  │   │
│  │  │  Grafana    │  │ Prometheus  │  │Alertmanager │                  │   │
│  │  │  (K8s)      │  │  (K8s)      │  │  (K8s)      │                  │   │
│  │  └─────────────┘  └─────────────┘  └─────────────┘                  │   │
│  │                                                                     │   │
│  │  ┌─────────────┐  ┌─────────────┐  ┌─────────────┐                  │   │
│  │  │   GitLab    │  │  Registry   │  │    n8n      │                  │   │
│  │  │  (Docker)   │  │  (Docker)   │  │  (Docker)   │                  │   │
│  │  └─────────────┘  └─────────────┘  └─────────────┘                  │   │
│  └─────────────────────────────────────────────────────────────────────┘   │
│                                                                             │
│                                    │                                        │
│                                    │ 同步 / 監控                             │
│                                    ▼                                        │
│  ┌─────────────────────────────────────────────────────────────────────┐   │
│  │                    GCP 正式環境 (35.194.233.141)                      │   │
│  │                    純應用部署 (無監控堆疊)                             │   │
│  │                                                                     │   │
│  │  ┌─────────────┐  ┌─────────────┐  ┌─────────────┐                  │   │
│  │  │ K8s momo-app│  │ momo-sched  │  │momo-postgres│                  │   │
│  │  └─────────────┘  └─────────────┘  └─────────────┘                  │   │
│  │                                                                     │   │
│  │  ⚠️ 監控由 UAT 集中管理                                              │   │
│  │  ⚠️ BI 服務指向 UAT                                                  │   │
│  └─────────────────────────────────────────────────────────────────────┘   │
│                                                                             │
└─────────────────────────────────────────────────────────────────────────────┘
```

### 2.2 現有問題總結

| 類別 | 問題 | 影響程度 |
|------|------|---------|
| **環境同步** | UAT/GCP 配置偶爾不一致 | 🔴 高 |
| **部署流程** | CI/CD 部署 GCP 需手動觸發 | 🟠 中 |
| **監控告警** | 部分服務缺乏監控 | 🟠 中 |
| **自動修復** | OOM/死鎖等需人工介入 | 🔴 高 |
| **BI 報表** | Superset 圖表配置繁瑣 | 🟡 低 |
| **文檔管理** | CLAUDE.md 過長，難以維護 | 🟡 低 |
| **備份策略** | 缺乏跨區域備份 | 🟠 中 |

---

## 三、V10.0 優化方案

### 3.1 自動化運維 (AIOps)

#### 3.1.1 環境同步機制 ✅ 已實作

```bash
# 每 30 分鐘自動檢查
scripts/auto-repair/env-sync-monitor.sh

# 功能：
# 1. 比對 ConfigMap
# 2. 比對 Pod 版本
# 3. 比對關鍵檔案 checksum
# 4. 自動同步不一致項目
# 5. Telegram 告警
```

#### 3.1.2 智慧自動修復矩陣

| 問題類型 | 偵測方式 | 自動修復動作 | 通知 |
|---------|---------|-------------|------|
| OOM | `K8s OOMKilled` | 增加 memory +50%, 重啟 | ✅ |
| Pod CrashLoop | 重啟 >5 次/小時 | 回滾到上一版本 | ✅ |
| 資料庫死鎖 | pg_stat_activity | 終止長時間查詢 | ✅ |
| 服務無回應 | 健康檢查 502/504 | 重啟 Pod/Docker | ✅ |
| 磁碟空間 | >85% | 自動清理 logs/tmp | ✅ |
| SSL 過期 | 30 天前 | 自動續約 (Certbot) | ✅ |
| 環境不一致 | ConfigMap diff | 自動同步 | ✅ |
| 爬蟲失敗 | 連續 3 次錯誤 | 重啟 scheduler | ✅ |

#### 3.1.3 告警分級與升級機制

```
Level 1 (Info)     → Telegram 通知
Level 2 (Warning)  → Telegram + 自動修復嘗試
Level 3 (Critical) → Telegram + 自動修復 + Email
Level 4 (Emergency)→ Telegram + 自動修復 + Email + LINE (主管)
```

### 3.2 CI/CD 優化 (GitOps)

#### 3.2.1 完整 Pipeline 流程

```yaml
# .gitlab-ci.yml V10.0

stages:
  - test
  - security
  - build
  - deploy-uat
  - integration-test
  - deploy-gcp
  - verify

workflow:
  rules:
    - if: $CI_COMMIT_BRANCH == "main"
      when: always
    - if: $CI_PIPELINE_SOURCE == "merge_request_event"
      when: always

test:
  stage: test
  script:
    - pytest tests/ -v --cov=app --cov-report=xml
  coverage: '/TOTAL.+?(\d+%)/'

security-scan:
  stage: security
  script:
    - bandit -r . -f json -o bandit-report.json
    - trivy image $IMAGE_NAME --severity HIGH,CRITICAL
  artifacts:
    reports:
      sast: bandit-report.json

build:
  stage: build
  script:
    - docker build -t $IMAGE_NAME:$CI_COMMIT_SHA .
    - docker push $IMAGE_NAME:$CI_COMMIT_SHA
    - docker tag $IMAGE_NAME:$CI_COMMIT_SHA $IMAGE_NAME:latest
    - docker push $IMAGE_NAME:latest

deploy-uat:
  stage: deploy-uat
  script:
    - ssh $UAT_HOST "kubectl set image deploy/momo-app momo-app=$IMAGE_NAME:$CI_COMMIT_SHA -n momo"
  environment:
    name: UAT
    url: https://mo.wooo.work

integration-test:
  stage: integration-test
  script:
    - sleep 60
    - curl -f https://mo.wooo.work/health
    - python tests/integration/test_api.py
  needs: [deploy-uat]

deploy-gcp:
  stage: deploy-gcp
  script:
    - gcloud compute ssh $GCP_VM --command="sudo kubectl set image deploy/momo-app momo-app=$IMAGE_NAME:$CI_COMMIT_SHA -n momo"
  environment:
    name: Production
    url: https://momo.wooo.work
  needs: [integration-test]
  when: manual  # 或 automatic

verify:
  stage: verify
  script:
    - ./scripts/auto-repair/env-sync-monitor.sh check
    - curl -f https://momo.wooo.work/health
  needs: [deploy-gcp]
```

#### 3.2.2 版本管理策略

```
main (v10.0.0)
├── 直接部署到 UAT (自動)
├── 整合測試通過後部署 GCP (自動/手動)
└── 每次部署自動打 Git Tag

develop (開發中)
├── 功能分支合併點
└── PR 必須通過 CI 檢查

feature/* (功能分支)
├── 開發新功能
└── PR → develop → main
```

### 3.3 監控體系升級

#### 3.3.1 監控層級架構

```
┌─────────────────────────────────────────────────────────────────────────┐
│                        V10.0 監控體系架構                                │
├─────────────────────────────────────────────────────────────────────────┤
│                                                                         │
│  Layer 4: 業務監控 (Business Metrics)                                   │
│  ┌─────────────────────────────────────────────────────────────────┐   │
│  │  • 每日業績達成率    • 爬蟲成功率    • 用戶活躍度               │   │
│  │  • 報表產出準時率    • API 回應時間   • 錯誤率                   │   │
│  └─────────────────────────────────────────────────────────────────┘   │
│                                    │                                    │
│  Layer 3: 應用監控 (APM)                                               │
│  ┌─────────────────────────────────────────────────────────────────┐   │
│  │  • Flask 請求追蹤    • 資料庫查詢分析  • 爬蟲執行監控            │   │
│  │  • 排程任務狀態      • 外部 API 呼叫   • 錯誤追蹤 (Sentry)       │   │
│  └─────────────────────────────────────────────────────────────────┘   │
│                                    │                                    │
│  Layer 2: 容器/K8s 監控                                                │
│  ┌─────────────────────────────────────────────────────────────────┐   │
│  │  • Pod 狀態/重啟     • 資源使用率     • 部署狀態                 │   │
│  │  • 映像版本追蹤      • ConfigMap 變更  • Secret 存取             │   │
│  └─────────────────────────────────────────────────────────────────┘   │
│                                    │                                    │
│  Layer 1: 基礎設施監控                                                 │
│  ┌─────────────────────────────────────────────────────────────────┐   │
│  │  • CPU/記憶體/磁碟   • 網路流量        • 系統負載                │   │
│  │  • SSL 憑證狀態      • DNS 解析        • 外部服務可用性          │   │
│  └─────────────────────────────────────────────────────────────────┘   │
│                                                                         │
└─────────────────────────────────────────────────────────────────────────┘
```

#### 3.3.2 新增監控指標

| 指標類別 | 指標名稱 | 閾值 | 告警等級 |
|---------|---------|------|---------|
| **業務** | 爬蟲成功率 | < 90% | Critical |
| **業務** | 每日業績匯入延遲 | > 30 分鐘 | Warning |
| **業務** | API 平均回應時間 | > 2 秒 | Warning |
| **應用** | Flask 錯誤率 | > 1% | Warning |
| **應用** | 資料庫查詢時間 | > 5 秒 | Warning |
| **容器** | Pod 記憶體使用率 | > 85% | Warning |
| **容器** | Pod 重啟次數 | > 3/小時 | Critical |
| **基礎** | 磁碟使用率 | > 85% | Warning |
| **基礎** | SSL 剩餘天數 | < 30 天 | Warning |

#### 3.3.3 Grafana 儀表板規劃

| 儀表板名稱 | 內容 | 受眾 |
|-----------|------|------|
| **Executive Summary** | KPI 總覽、業績達成率、系統健康度 | 主管 |
| **Operations Dashboard** | 服務狀態、告警列表、最近部署 | 運維 |
| **Application Performance** | API 效能、錯誤追蹤、資料庫效能 | 開發 |
| **Infrastructure Health** | CPU/RAM/Disk、網路、K8s 資源 | 運維 |
| **Crawler Monitoring** | 爬蟲執行狀態、成功率、資料量 | 業務 |

### 3.4 商業智慧 (BI) 強化

#### 3.4.1 Superset 圖表標準化

| 圖表 ID | 圖表名稱 | 類型 | 資料源 |
|---------|---------|------|--------|
| 1 | 品牌銷售額排名 | Bar Chart | monthly_summary_analysis |
| 2 | 月銷售趨勢 | Line Chart | monthly_summary_analysis |
| 3 | 類別銷售佔比 | Pie Chart | monthly_summary_analysis |
| 4 | 銷售數量 Top 15 | Bar Chart | monthly_summary_analysis |
| 5 | 區域銷售分布 | Bar Chart | monthly_summary_analysis |
| 6 | 毛利率趨勢 | Line Chart | monthly_summary_analysis |
| 7 | 瀏覽量趨勢 | Area Chart | monthly_summary_analysis |
| 8 | 每日業績概覽 | Big Number | daily_sales_snapshot |

#### 3.4.2 Metabase 集合整理

```
📊 MOMO 業績分析
├── ⭐ 2026 專業分析儀表板（新版）
│   ├── 即時業績概覽
│   ├── 品牌分析
│   ├── 趨勢分析
│   └── 預測模型
│
└── 📦 舊版業績分析（已棄用）
    └── 歷史資料備份
```

### 3.5 資料備份與災難復原

#### 3.5.1 備份策略 (3-2-1 原則)

| 備份類型 | 頻率 | 保留期限 | 儲存位置 |
|---------|------|---------|---------|
| 資料庫全備 | 每日 02:00 | 30 天 | UAT 本地 |
| 資料庫增量 | 每小時 | 7 天 | UAT 本地 |
| 跨區域備份 | 每日 04:00 | 14 天 | GCS (asia-east1) |
| 配置檔備份 | 每次變更 | 永久 | Git + GCS |

#### 3.5.2 災難復原流程

```
RTO (Recovery Time Objective): 30 分鐘
RPO (Recovery Point Objective): 1 小時

復原流程：
1. 確認災難類型 (UAT 故障 / GCP 故障 / 完全災難)
2. 啟動備用環境或復原程序
3. 從最近備份還原資料庫
4. 驗證服務健康
5. 切換 DNS 或流量
6. 通知相關人員
```

### 3.6 安全強化

#### 3.6.1 安全檢查清單

| 項目 | 當前狀態 | V10.0 目標 |
|------|---------|-----------|
| Fail2Ban | ✅ 已啟用 | 維持 |
| UFW 防火牆 | ✅ 已啟用 | 維持 |
| SSL/TLS | ✅ A+ 評級 | 維持 |
| HSTS | ✅ 已啟用 | 維持 |
| 端口隱藏 | ✅ 僅 80/443/22 | 維持 |
| 程式碼掃描 | ✅ Bandit | 增加 SonarQube |
| 映像掃描 | ✅ Trivy | 維持 |
| WAF | ❌ | 新增 ModSecurity |
| Secret 管理 | K8s Secret | 升級 Vault |

#### 3.6.2 合規性目標

- [ ] ISO 27001 資訊安全管理
- [ ] GDPR 個資保護 (如適用)
- [ ] 定期滲透測試 (每季)
- [ ] 安全意識培訓

### 3.7 文檔與知識管理

#### 3.7.1 CLAUDE.md 重構

```
CLAUDE.md (主文件，簡潔版)
├── 專案概覽
├── 環境架構
├── 帳號密碼
└── 快速指令

docs/
├── ARCHITECTURE.md        # 詳細架構說明
├── DEPLOYMENT.md          # 部署流程
├── MONITORING.md          # 監控告警
├── TROUBLESHOOTING.md     # 故障排除
├── API-REFERENCE.md       # API 文檔
├── DATABASE-SCHEMA.md     # 資料庫結構
├── SECURITY.md            # 安全規範
└── CHANGELOG.md           # 變更記錄
```

#### 3.7.2 Runbook 建立

| Runbook | 內容 | 適用場景 |
|---------|------|---------|
| Pod OOM 處理 | 診斷步驟、記憶體調整、回滾 | Pod 記憶體不足 |
| 資料庫連線問題 | 連線池檢查、重啟流程 | 連線超時 |
| 爬蟲失敗處理 | 日誌檢查、重試、手動觸發 | 爬蟲異常 |
| CI/CD 失敗處理 | Pipeline 診斷、手動部署 | 部署失敗 |
| SSL 憑證更新 | Certbot 更新、Nginx 重載 | 憑證到期 |

---

## 四、實施計畫

### 4.1 里程碑規劃

| 階段 | 時程 | 交付物 |
|------|------|--------|
| **Phase 1: 基礎穩定** | Week 1-2 | 環境同步機制、自動修復完善 |
| **Phase 2: CI/CD 強化** | Week 3-4 | GitOps 流程、自動化測試 |
| **Phase 3: 監控升級** | Week 5-6 | 新監控指標、Grafana 儀表板 |
| **Phase 4: BI 優化** | Week 7-8 | Superset/Metabase 標準化 |
| **Phase 5: 安全強化** | Week 9-10 | WAF、Vault、合規文檔 |
| **Phase 6: 文檔整理** | Week 11-12 | CLAUDE.md 重構、Runbook |

### 4.2 風險評估

| 風險 | 機率 | 影響 | 緩解措施 |
|------|------|------|---------|
| 環境同步失敗 | 中 | 高 | 雙重驗證機制 |
| 自動修復誤觸發 | 低 | 中 | 保守閾值設定 |
| CI/CD Pipeline 中斷 | 中 | 高 | 手動部署備案 |
| 新監控影響效能 | 低 | 低 | 資源隔離 |

### 4.3 成功指標

| 指標 | 目標值 | 測量方式 |
|------|--------|---------|
| 系統可用性 | 99.9% | Uptime 監控 |
| 平均修復時間 | < 5 分鐘 | 告警到恢復時間 |
| 部署頻率 | 每日 | CI/CD Pipeline |
| 環境一致性 | 100% | 同步檢查結果 |
| 告警準確率 | > 95% | 誤報率分析 |

---

## 五、資源需求

### 5.1 硬體資源

| 項目 | UAT 現況 | V10.0 建議 |
|------|---------|-----------|
| CPU | 4 核心 | 8 核心 |
| RAM | 8 GB | 16 GB |
| SSD | 100 GB | 200 GB |
| 網路 | 1 Gbps | 維持 |

### 5.2 軟體授權

| 軟體 | 類型 | 費用 |
|------|------|------|
| K3s | 開源 | 免費 |
| Prometheus/Grafana | 開源 | 免費 |
| Superset/Metabase | 開源 | 免費 |
| GitLab CE | 開源 | 免費 |
| HashiCorp Vault | 開源 | 免費 |
| ModSecurity | 開源 | 免費 |

### 5.3 人力需求

| 角色 | 投入時間 | 任務 |
|------|---------|------|
| DevOps 工程師 | 50% | 自動化、監控、CI/CD |
| 後端開發 | 30% | API 優化、測試 |
| 資料分析師 | 20% | BI 報表、資料品質 |

---

## 六、附錄

### 6.1 相關文檔

- [AGENTS.md](../AGENTS.md) - Codex 專案入口
- [CONSTITUTION.md](../CONSTITUTION.md) - 專案憲法
- [DEPLOYMENT_WORKFLOW.md](DEPLOYMENT_WORKFLOW.md) - 部署流程

### 6.2 變更記錄

| 日期 | 版本 | 變更內容 |
|------|------|---------|
| 2026-02-14 | Draft | 初版計畫提案 |

---

**文件結束**

*本計畫需經技術評審與管理層核准後實施。*