结束实验与决策
本页面面向准备关闭 In Progress 实验的负责人，涵盖：何时该结束实验、Ship 与 Archive 两种决策的区别与操作方式、决策如何被审计记录。
何时该结束实验
控制台不会替你停止实验，需基于 Results 上的信号自行决定：
| 信号 | 含义 |
|---|---|
| 主指标已显著 | Suggestion 不再要求「继续收集」，指标行出现明确方向差异。胜出变体是 Ship 候选 |
| 跑够样本但结果是平的 | 累计曝光达到预设样本量，相对差在 0 附近徘徊且置信区间覆盖 0。诚实答案是 Archive |
| 触发护栏或风险信号 | SRM 不通过、参数变更告警横幅亮起、副指标朝错误方向移动。停止实验 |
| 假设已不重要 | 产品形态或受众变化，结果无法支撑真实决策，归档即可 |
平台不要求等到固定的日历周期。在你做出动作之前，状态条始终是 In Progress。
Make Decision
- Ship —— 发布一个胜出变体
- Archive —— 归档实验，不发布任何变体
两个 Tab 共享同一个**决策原因（Reason for Decision）**文本域，填写的文本会记录到实验 History。
Ship：让胜出变体上线
当某个变体明显胜出，你希望它的参数值成为新默认值时选 Ship。
操作步骤
- 在实验头部点 Make Decision
- 对话框默认打开 Ship Tab，标题 A better group has been found
- 展开下拉框，选中要发布的变体（选中前 Ship 按钮 disabled）
- 可选：填写一句决策原因
- 点 Ship
Ship 之后
| 改变的对象 | 行为 |
|---|---|
| 层参数默认值 | 更新为胜出变体的参数值。之后该层所有受众都读到新值 |
| 实验状态 | In Progress → Shipped |
| 流量分配 | 降为 0%，层可用流量恢复 |
| 白名单 | 失效 |
| Setup | 变只读，胜出变体旁显示 Shipped 标签 |
| Make Decision 按钮 | 消失 |
| Results | 仍可浏览历史数据 |
| History | 新增 Ship experiment 条目（操作人、时间戳、原因） |
什么时候选 Ship
同时满足以下条件：
- 状态 In Progress，样本量已经够下结论
- Suggestion 指向明确的领先变体，或主指标 Comparison 已统计显著
- Results 顶部没有 Risk warning（SRM 通过、无参数变更告警）
- 你选的变体确实是你想作为新默认值的那一个
Archive：不上线直接归档
当没有胜者，或实验已经不是该问的问题时，选 Archive。
操作步骤
- 在 Make Decision 对话框切到 Archive Tab
- 可选填写决策原因
- 阅读红色警告：归档后参数回到默认值，实验不可再启动
- 点 Archive
Archive 之后
| 改变的对象 | 行为 |
|---|---|
| 层参数默认值 | 不变，受众回退到原默认值 |
| 实验状态 | In Progress → Archived |
| 流量分配 | 降为 0%，层可用流量恢复 |
| 白名单 | 失效 |
| Setup | 变只读 |
| Make Decision 按钮 | 消失 |
| Results | 仍可浏览历史数据 |
| History | 新增 Archive experiment 条目 |
| 是否可恢复 | 否，归档后不可再启动 |
什么时候选 Archive
- 样本量已够，主指标无显著差异（Comparison 在 0 附近，置信区间穿越 0）
- Suggestion 提示 No winning variant found 或 No better group in primary metrics
- 触发了护栏或风险信号（SRM 失败、参数变更告警、关键副指标方向变坏）
- 假设本身已过时（产品形态或受众在实验之下变了）
你也可以在 Experiments 列表对 Not Started 草稿用 ⋮ → Archive 直接归档（不打开对话框，不捕获原因）。
Ship 前必查清单
在点 Make Decision 之前，对照 Results 过一遍：
| 检查项 | 看哪里 |
|---|---|
| 样本量已达到或超过预设 | 累计曝光卡片 |
| 主指标方向与假设一致并显著 | 指标表 |
| Results 顶部没有 Risk warning | 页面顶部 |
| 样本比例校验通过（SRM） | SRM 状态 |
| 实验回溯 ✓ Normal | 回溯标签 |
| 想 Ship 的变体的参数值是想上线的 | Setup → 变体与参数 |
| 能用一句话写出决策原因 | 对话框文本域 |
任何一行打不上勾，就不要 Ship——最多 Archive，更多时候是让实验继续跑。
决策记录（History）
两种决策都会落在实验的 History 日志上（头部 ⋮ → History）。
| 动作 | 含义 |
|---|---|
| Create experiment | 实验被创建 |
| Experiment started | Start 被点击，进入 In Progress |
| Ship experiment | Make Decision → Ship 确认 |
| Archive experiment | Make Decision → Archive 确认 |
每条记录显示操作人头像、用户名和 UTC 时间戳。决策原因文本随记录存储，作为团队审计依据。