OoO bd32e04dad feat(p25): 反饋環深化 — caller-level quality 趨勢追蹤 + ROI 月報整合 ...

Operation Ollama-First v5.0 / Phase 25 — 反饋環自主學習深化

services/feedback_quality_tracker.py (180+ 行)
- 純 SQL 統計，零 LLM 成本
- 4 個閾值常數（demote 👎×5/avg<2.5 / promote 👍×10/avg>=4.5）
- compute_caller_quality_trend(days=7) — 取近 N 日各 caller 反饋
- get_caller_recommendations() — 給 token 日報/ROI 月報用
  • 規則 1: 👎 ≥ 5 次 → review
  • 規則 2: avg < 2.5 + 樣本足 → review
  • 規則 3: 👍 ≥ 10 + avg ≥ 4.5 → promote（建議關閉 Gemini fallback）
- should_demote_caller(caller) — 自動降權判斷（戰役預設不啟用）
- render_quality_summary() — 給訊息用 emoji 摘要

ROI 月報整合（services/roi_report_service.py）：
- 加 Section 「💬 Caller 反饋趨勢（30 日）」TOP 10 by 最低 avg
- 加 Section 「🔮 智能建議」最多 3 條（review / promote）
- 失敗 swallow 不影響月報主流程

訊息範例:
  💬 Caller 反饋趨勢（30 日）
    ⚠️ openclaw_qa: avg 1.85/5 (👍2 👎8 n=12)
    ➖ hermes_analyst: avg 3.10/5 (👍5 👎3 n=10)
    ✅ ppt_gemini: avg 4.75/5 (👍12 👎0 n=15)
  🔮 智能建議
    ⚠️ openclaw_qa: 近 30 日 👎 反饋 8 次 (avg 1.85/5) — 建議統帥檢視 prompt 或切換 model
    ✅ ppt_gemini: 近 30 日 👍 反饋 12 次 — 可考慮關閉 Gemini fallback 純走 Ollama

tests/test_feedback_quality_tracker.py (10 tests 全綠)
- 4 閾值常數 / DB fail 安全 / 空 trends 容錯
- demote 規則（👎 多次）/ promote 規則（👍 多次）/ neutral 不觸發
- should_demote_caller 樣本不足保護
- trend 分類（positive/negative/neutral/no_data）正確

依 ADR-032 RAG 自主學習迴圈 + ADR-033 護欄 #1
不直接改 caller 行為（避循環自動修正失控），只產出建議給統帥審視。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>

2026-05-04 11:12:52 +08:00

6.0 KiB

Raw Permalink Blame History

View Raw