核心結論
一句話總結
使用者少刷列表、但讀文章更多、更深、更準，整體 D+7 留存上升。 dice_357 成功在降低曝光衝擊的同時，提升深度閱讀品質。
總體成效（CUPED Lift）
顯著性：✓ p<0.05 · ✓✓ p<0.01 · ✓✓✓ p<0.001
| 指標 | a1 | b1 | Lift | p-value | 顯著 |
|---|---|---|---|---|---|
| IMP（曝光） | 21.90 | 21.73 | -0.79% | 8.5e-6 | ✓✓✓ |
| PV（點擊） | 3.577 | 3.627 | +1.41% | <1e-15 | ✓✓✓ |
| CTR | 13.67% | 14.05% | +2.84% | <1e-15 | ✓✓✓ |
| uCTR | 55.36% | 55.87% | +0.94% | <1e-15 | ✓✓✓ |
| 總時長（秒/日） | 210.50 | 220.46 | +4.73% | <1e-15 | ✓✓✓ |
| 閱覽時長（秒/日） | 149.58 | 160.34 | +7.19% | <1e-15 | ✓✓✓ |
| 列表時長（秒/日） | 60.91 | 60.12 | -1.30% | 8.0e-13 | ✓✓✓ |
| D+1 留存 | 46.61% | 46.74% | +0.29% | 4.7e-4 | ✓✓✓ |
| D+3 留存 | 65.33% | 65.53% | +0.30% | 3.2e-8 | ✓✓✓ |
| D+7 留存 | 73.88% | 74.06% | +0.25% | 1.7e-7 | ✓✓✓ |
每日趨勢圖（含實驗前 7 天）
a1（對照，紅）vs b1（實驗，綠）· 黃色虛線為實驗開始日 2026-04-15 · 04-08~04-14 為實驗前 7 天
int__dice__generalized_post_engagement__daily 定義自算（5 種 engagement UNION），與實驗期 mart 完全對齊，絕對值可直接比較。實驗前 7 天 a1/b1 應貼合（AA balance check），實驗開始後差距開始出現。
IMP（曝光，每 active member 日均）
PV（點擊，每 active member 日均）
CTR（不重複）
uCTR
總時長（秒/日）
閱覽時長（秒/日）
列表時長（秒/日）
N 日平均上站天數（returned_days）
來源：Redash query 44791（Dashboard 「三日/七日/三十日留存 (N日平均上站天數)」）· dashboard_date = base_date + N（資料完整的那天）
1 日平均上站天數 (0~1)
3 日平均上站天數 (0~3)
7 日平均上站天數 (0~7)
分群成效（CUPED Lift）
分群依實驗前 7 天日均 IMP · ✓ p<0.05 · ✓✓ p<0.01 · ✓✓✓ p<0.001
| 指標 | 全體 | New User | Light(≤5) | Medium(5-20) | Heavy(20-80) | Super Heavy(80+) |
|---|---|---|---|---|---|---|
| IMP | -0.79% ✓✓✓ | -0.81% ✓✓ | -0.56% ✓✓ | -1.11% ✓✓✓ | -1.26% ✓ | -0.36% |
| PV | +1.41% ✓✓✓ | +2.58% ✓✓✓ | +1.31% ✓✓✓ | +1.40% ✓✓ | +1.05% ✓ | -0.15% |
| CTR | +2.84% ✓✓✓ | +4.33% ✓✓✓ | +3.08% ✓✓✓ | +2.68% ✓✓✓ | +1.67% ✓✓✓ | +0.37% |
| uCTR | +0.94% ✓✓✓ | +1.94% ✓✓✓ | +1.09% ✓✓✓ | +0.52% ✓✓ | +0.31% 邊緣 | +0.05% |
| 總時長 | +4.73% ✓✓✓ | +6.72% ✓✓✓ | +4.12% ✓✓✓ | +4.89% ✓✓✓ | +4.14% ✓✓✓ | +3.48% ✓✓✓ |
| 閱覽時長 | +7.19% ✓✓✓ | +10.50% ✓✓✓ | +6.16% ✓✓✓ | +7.51% ✓✓✓ | +6.44% ✓✓✓ | +5.15% ✓✓✓ |
| 列表時長 | -1.30% ✓✓✓ | -1.57% ✓✓ | -0.94% ✓✓✓ | -1.69% ✓✓✓ | -1.80% ✓✓✓ | -0.68% |
| D+1 留存 | +0.29% ✓✓✓ | +0.52% ✓ | -0.09% | +0.20% | +0.21% | +0.28% ✓ |
| D+3 留存 | +0.30% ✓✓✓ | +0.22% | +0.09% | +0.24% ✓ | +0.16% 邊緣 | +0.06% |
| D+7 留存 | +0.25% ✓✓✓ | +0.25% | -0.01% | +0.24% ✓✓ | +0.14% 邊緣 | +0.04% |
重點：New User 所有指標最大受益（閱覽時長 +10.5%、CTR +4.3%）；Super Heavy 因天花板效應僅時長顯著正向；各分群在 IMP/PV/CTR/時長上趨勢完全一致。
為何留存分群大多不顯著？分群 n 只有全體的 15~26%，SE 放大 2-3 倍；留存 lift 僅 0.2~0.5% 屬於小幅度效應，單一分群樣本量不足以偵測。全體 p<0.001 是各分群一致小幅正向累積的結果。
曝光新鮮度分佈
| 新鮮度 | a1 | b1 | 差異 |
|---|---|---|---|
| 0-7d | 81.04% | 77.69% | -3.35pp |
| 7-180d（EG 範圍） | 10.08% | 13.41% | +3.33pp |
| 180d+ | 3.27% | 3.29% | +0.02pp |
| unknown | 5.61% | 5.61% | — |
EG 7-180d 舊文佔比 +3.33pp，成功將 Evergreen 內容帶入 feed。
⚠️ 180d+ 仍保留 3.29%，可能需確認 EG 180 天限制是否完全套用於所有 candidate pool。
結論與建議
✅ 正面訊號
- 閱覽時長全分群顯著正向，New User 高達 +10.5%
- CTR +2.84%、PV +1.41% 全極顯著
- D+1/D+3/D+7 留存全部正向顯著
- 中低活躍族群（New User/Light/Medium）最大受益
- 使用者行為改善：少刷列表、多看文章、看得更深
⚠️ 需關注
- IMP 顯著 -0.79%，需觀察對長期廣告收入影響
- 180d+ 曝光仍有 3.29%，確認 EG 限制是否完全套用
- Super Heavy 天花板效應明顯，lift 空間有限
- Light D+1 留存 -0.09%（不顯著），持續監測
🎯 最終建議
支持放量 / 全量上線。dice_357 在降低曝光衝擊的同時保留 Evergreen 深度閱讀效益，並取得 D+1/D+3/D+7 留存全顯著正向，是優於 dice_343（未限 180d）的實作方案。180 天文章新鮮度限制是正確的優化方向。
方法論
- 樣本：dice_357_a1 632.0 萬 / dice_357_b1 632.4 萬（由
bucket_groups_all確認） - 實驗期：2026-04-15 ~ 2026-04-22（D+1 起 7 天資料）
- CUPED pre-period：實驗前 14 天（窗口
window_size=14） - IMP/PV/CTR/uCTR/時長：沿用 Dashboard query 40991 口徑（user-level 日均 CUPED）
- 留存：沿用 Dashboard query 53643/53644 口徑（person-day level CUPED）
- 分群：實驗前 7 天日均 IMP；New User = 實驗前 7 天無活動
- SE 計算：SE = √(v_a/n_a + v_b/n_b)；z = Δ/SE；p = 2·(1−Φ(|z|))