3 Commits

Author	SHA1	Message	Date
OoO	c300e496c5	記錄 ROI 月報反饋區塊失敗	2026-05-13 10:00:04 +08:00
OoO	bd32e04dad	feat(p25): 反饋環深化 — caller-level quality 趨勢追蹤 + ROI 月報整合 ... Operation Ollama-First v5.0 / Phase 25 — 反饋環自主學習深化 services/feedback_quality_tracker.py (180+ 行) - 純 SQL 統計，零 LLM 成本 - 4 個閾值常數（demote 👎×5/avg<2.5 / promote 👍×10/avg>=4.5） - compute_caller_quality_trend(days=7) — 取近 N 日各 caller 反饋 - get_caller_recommendations() — 給 token 日報/ROI 月報用 • 規則 1: 👎 ≥ 5 次 → review • 規則 2: avg < 2.5 + 樣本足 → review • 規則 3: 👍 ≥ 10 + avg ≥ 4.5 → promote（建議關閉 Gemini fallback） - should_demote_caller(caller) — 自動降權判斷（戰役預設不啟用） - render_quality_summary() — 給訊息用 emoji 摘要 ROI 月報整合（services/roi_report_service.py）： - 加 Section 「💬 Caller 反饋趨勢（30 日）」TOP 10 by 最低 avg - 加 Section 「🔮 智能建議」最多 3 條（review / promote） - 失敗 swallow 不影響月報主流程 訊息範例: 💬 Caller 反饋趨勢（30 日） ⚠️ openclaw_qa: avg 1.85/5 (👍2 👎8 n=12) ➖ hermes_analyst: avg 3.10/5 (👍5 👎3 n=10) ✅ ppt_gemini: avg 4.75/5 (👍12 👎0 n=15) 🔮 智能建議 ⚠️ openclaw_qa: 近 30 日 👎 反饋 8 次 (avg 1.85/5) — 建議統帥檢視 prompt 或切換 model ✅ ppt_gemini: 近 30 日 👍 反饋 12 次 — 可考慮關閉 Gemini fallback 純走 Ollama tests/test_feedback_quality_tracker.py (10 tests 全綠) - 4 閾值常數 / DB fail 安全 / 空 trends 容錯 - demote 規則（👎 多次）/ promote 規則（👍 多次）/ neutral 不觸發 - should_demote_caller 樣本不足保護 - trend 分類（positive/negative/neutral/no_data）正確 依 ADR-032 RAG 自主學習迴圈 + ADR-033 護欄 #1 不直接改 caller 行為（避循環自動修正失控），只產出建議給統帥審視。 Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-05-04 11:12:52 +08:00
OoO	0476d3ae4e	feat(p24): ROI 月報生成器 — 每月 1 日 09:00 推 Telegram ... Operation Ollama-First v5.0 / Phase 24 — 戰役 ROI 自動量化 services/roi_report_service.py (200+ 行) - BASELINE 戰前估算（gemini 50M/$20、nim 5.8M、ollama 30M、total $25/月） - query_last_month_stats() — SQL 查上月 ai_calls + mcp_calls + rag_query_log - render_roi_report(stats) — HTML 訊息（含 5 區塊：成本攔截/provider 分布/RAG/MCP+Cache/KPI） - generate_and_send_roi_report() — 主入口，推 Telegram + 寫 ai_insights 長期記錄 - 達標標記：Gemini -23.5% ✅ / RAG 命中 ≥25% ✅ Telegram 訊息範例: 📊 ROI 月報 2026年04月 💰 成本攔截 Gemini: 35,000,000 tokens / $14.00 vs 戰前: 50,000,000 / $20.00 ✅ 攔截: 15,000,000 tokens / $6.00 (30.0%) 🤖 Provider 分布 🧠 RAG 自主學習（含 saved_call / 反饋分數） 🔧 MCP + Cache 📈 戰役 v5.0 KPI ✅ 達標 run_scheduler.py — 每日 09:00 跑（內部判斷月初第 1 日才送） - run_roi_monthly_report_if_new_month task wrapper - 失敗 swallow log，不影響其他排程 tests/test_roi_report_service.py (7 tests 全綠) - BASELINE 必要欄位 / 月份範圍計算 (1月→去年12月) - 達標訊息含 ✅ + 攔截數字 - 未達標訊息含 ⚠️ - 空 stats 容錯 / DB fail 回空 dict 不 raise Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-05-04 11:04:14 +08:00