【最佳实践】HTE结果解读

HTE 结论概览

以本图为例，结论区域显示：

HTE Conclusion: Overall, the treatment variant is significantly positive vs. the baseline variant and has a significant effect on the following subgroups.

解读三步走：

步骤	看什么	本例结论
1	整体效果方向	Treatment 整体显著正向（+329%）
2	哪些子群显著	Top Positively Significant Subgroups 列出了 3 个显著正向子群
3	哪个子群效果最强	iOS 用户子群效果最强（+415.56%）

---

树状图解读

HTE 使用决策树自动划分用户子群，每个节点代表一个子群。

树状图结构

层级	含义	本例
Depth 0	全部用户（根节点）	All crowds，+329%
Depth 1	按第一个维度拆分	iOS vs 非 iOS
Depth 2+	继续按其他维度拆分	年龄分段进一步拆分

节点信息解读

每个节点显示两个数字：

• 相对提升：实验组相对于对照组的提升幅度
• 占比：该子群在总用户中的占比（60.30% 表示 iOS 用户占总用户的 60.3%）

颜色含义

• 绿色/青色：正向效果（实验组优于对照组）
• 红色/粉色：负向效果（实验组劣于对照组）

---

表格数据解读

下方表格是 HTE 的详细数据，核心列说明如下：

列名	含义	重点关注
Subgroup Definition	子群定义（维度条件）	了解该子群的特征
Subgroup Proportion	子群占比	判断该子群是否足够大，值得单独决策
Baseline / Treatment	对照组 vs 实验组的指标值	了解绝对量级
Relative Difference	相对提升（带置信区间）	核心指标，判断效果大小
P-Value	显著性检验	p < 0.05 才认为子群效果显著
MDE	最小可检测效应	判断该子群是否功效充足

本例关键数据解读

子群	占比	相对提升	P 值	解读
All crowds（全部用户）	100%	+329%	0	整体效果极强且显著
iOS 用户	60.30%	+415.56%	0	效果比整体更强，是主要驱动力
iOS + 非 under_18	50.10%	+368.44%	0	排除未成年 iOS 用户后效果仍然很强
iOS + 非 under_18 + 非 18-24	39.90%	+304.25%	0	进一步排除 18-24 岁后效果略有下降但仍很强
非 iOS 用户	39.70%	+192.40%	0	效果也有显著提升，但幅度明显小于 iOS

关键发现

1. iOS 是核心驱动：iOS 用户（60.3%）贡献了最强的正向效果（+415.56%），是整体显著的主要驱动力。
2. Android/其他平台也有效果：非 iOS 用户（39.7%）也有 +192.40% 的提升，只是幅度较小。
3. 年龄对 iOS 用户有影响：从 under_18 到 18-24 的排除过程中，相对提升从 +415% → +368% → +304%，说明年轻 iOS 用户的反应更强烈。
4. 所有 P 值均为 0：所有关键子群的效果都高度显著。

---

如何基于 HTE 做决策

决策框架

Step 1: 看整体是否显著
  → 不显著：停止分析，先解决功效问题
  → 显著：继续 Step 2
 
Step 2: 看哪些子群显著
  → 全部子群方向一致：全面上线
  → 某些子群方向相反：考虑定向上线
 
Step 3: 评估子群差异是否值得分层决策
  → 差异大 + 子群可定向 → 分层策略（如仅对 iOS 用户上线）
  → 差异小或无法定向 → 统一上线

本例决策建议

方案	分析	建议
全面上线	整体显著（+329%），所有子群均为正向	安全的选择
iOS 优先	iOS 效果最强（+415%），非 iOS 也有效果（+192%）	如果资源有限，可优先在 iOS 侧加大推广
排除特定子群	无明显负向子群	无需排除

⚠️ 注意事项：

1. HTE 属于多重比较(多个子人群做假设检验)，理论上需要校正（如 Bonferroni）。如果平台开启了 Multiple Comparison Correction（右上角开关），结果更可信。
2. 子群占比过小（如 < 5%）时，即使 P 值显著，也要谨慎解读。