ROI 仪表盘
已发布实验的总收益是多少？核心指标的增加和减少是否受实验影响？ROI 仪表盘可以帮助您回答所有问题！通过评估多个实验的累积长期收益，您可以为您的业务做出更好的决策并增加增长。您可以按照以下步骤使用 ROI 仪表盘：
- 步骤 1 创建保留组并将其与您要评估的层（实验所在的层）关联
- 步骤 2 开始关联层上的实验，获取实验结果并启动实验
- 步骤 3 查看保留组结果并分析实验的长期收益。
如何使用 ROI 仪表盘
保留组的实施原则
"保留组" 是指从所有实验用户中随机选择的一部分用户，这些用户不会受到任何实验的影响。这些保留组用户作为对照组，用于评估多个实验策略的累积对比效果。保留组方法的主要目的是为了提供更准确地评估实验组性能的基准。通过比较实验组和保留组之间的差异，我们可以更好地了解实验变量对用户行为的影响。这有助于确保实验结果的可靠性和准确性，为实施改进提供有力支持。例如，在网站设计 A/B 测试中，A 组用户看到原始设计，B 组用户看到新设计，保留组用户不参与实验。通过比较实验组和保留组的用户行为，我们可以更准确地评估新设计对用户体验的影响。在实施过程中，我们首先从所有实验用户中划分出一个保留组层和一个虚拟实验层。保留组层中的用户不受实验策略的影响，而虚拟实验层中的用户受到所有实验策略的影响。然后，我们在两个层上自动创建实验，两个实验的流量相等。最后，通过比较保留组层实验中的对照组用户和虚拟实验层实验中的实验组用户，我们可以了解多个实验的收益。
创建保留组
您可以从左侧导航中的“ROI 仪表盘”访问该页面，点击右上角的“创建”按钮，然后填写必要的信息以创建新的保留组： 
名称
填写保留组的名称。名称只能包含字母、数字和下划线。
大小
设置保留组所需的流量。如果填写 1%，则表示 1% 的用户不受任何实验的影响，这些用户将与受多个实验影响的用户进行比较，以评估多个实验的累积长期收益。
指标
选择您希望在保留组中查看的指标。这些指标的收益将显示在仪表盘中。
层
选择要与保留组关联的层。当这些层上发布实验时，这些实验的指标增加或减少将计入此保留组实验的 ROI。此外，请注意：
- 一个层只能与一个保留组关联
- 请注意，如果层已被取消关联，保留组实验的结果将受到影响
所有者
所有者可以修改和删除保留组。您可以添加其他人与您一起管理保留组。
参数
您可以选择一个现有参数或创建一个新参数以关联保留组实验。
注意：为了避免保留组中的用户和实验组中的用户由于长时间缺乏实验策略而产生差异，我们建议您定期使用新的保留组来测量实验收益。
分析实验收益
单击保留组的“名称”或“ROI”按钮，您可以进入以下保留组实验的 ROI 仪表盘：
如何分析多个实验的累积收益？
概述
首先，“概述”模块显示了在所选时间段内您在此保留组上完成的实验数量，已发布的实验数量以及在所选指标中为正的实验数量。这可以帮助您分析一段时间内实验的有效性。
分析
然后，您可以在“分析”模块中查看您关心的指标的累积实验收益。这意味着您可以比较受实验影响的用户和未受实验影响的用户在某个指标上的表现。您可以看到您发布的多个实验策略是否真的带来了某个指标数据的增加，或者相反，导致了某个指标数据的减少。
查看趋势
从这里您可以看到所选时间段内某个指标的近似每日变化。
指标详情
点击每个指标的柱状图，您可以看到以下指标的详细信息。在此仪表盘中，您可以分析某个指标的具体表现和波动。
长期收益
在某个指标的长期收益部分，您可以看到保留组用户和实验组用户之间的指标值差异。您还可以看到这两部分用户数据之间某个指标的相对差异。当您将鼠标悬停在某个日期上时，您可以看到哪些实验在这个日期发布，帮助您判断哪些实验导致了数据波动。我们默认显示累积数据，您可以在右上角切换为非累积数据。
短期收益
在短期收入模块中，您可以看到您发布的实验在此指标上累积的相对差异数据。绿色点表示实验对此指标产生积极影响。红色点表示实验对此指标产生负面影响。