Skip to content

层域实验

层域实验(Layer Experiment)是 ABC 平台默认且最常用的实验类型。它通过层域架构对流量进行隔离管理,支持在同一批用户上同时运行多个互不干扰的实验。

本页面面向需要同时运行多个互不影响实验的实验负责人。

为什么选择层域实验

层域实验是 ABC 平台默认且最常用的实验类型,核心优势如下:

  • 支持并行实验 —— 多个实验可以同时运行在同一批用户上,互不干扰,最大化流量利用率。
  • 流量隔离 —— 同一层内的实验互斥(一个用户只会命中其中一个),避免参数冲突导致结果污染。
  • 跨层独立 —— 不同层使用独立的哈希种子进行分流,实验分组在统计上正交,效果可独立衡量。

当你需要同时运行多个实验、且希望结果干净无偏时,选择层域实验。

创建层域实验前,需先完成 Layers & Domains 配置。详见 层域说明

创建层域实验

创建层域实验

完成 Layers & Domains 配置后,即可创建层域实验。

Step 1:Basic Information

  1. Experiments 标签页,点击右上角 Create 按钮。
  2. 在下拉菜单中选择 Layer Experiment
  3. 填写基本信息:
字段说明
Experiment ID实验唯一标识,只能包含字母、数字和下划线。
Owner实验负责人(自动填充当前用户)。
Layer(可选)勾选 "Ensure this experiment is mutually exclusive with others" 后,在下拉列表中选择一个已有的 Layer。列表显示各 Layer 名称及可用流量百分比(如 "regration_layer — 50% Available")。如无合适 Layer,可点击底部 Create layer 直接新建。不勾选 Layer:实验不绑定任何互斥层,不与其他实验做流量互斥隔离。

Step 2:Hypothesis & goals

字段说明
Hypothesis填写实验假设,描述预期变化及衡量方式。
Select Metrics点击 + Metrics 添加实验关注的指标。

Step 3:Allocation and Groups

  • Traffic Allocation —— 输入分配给该实验的流量百分比。注意:此处流量来源是所选 Layer 的可用流量(页面提示 "of layer traffic allocated to this experiment"),而非全局流量。下方会显示当前 Layer 的剩余可用百分比。
  • Variants(实验组) —— 默认有 Control(对照组)和 Treatment_A(实验组)。点击 Add Variant 可新增更多实验组。流量分配比例总和必须等于 100%。
  • Parameters —— 点击 + Add parameter 添加参数,为每个变体设置参数值。
  • Allowlist(可选)—— 通过白名单验证实验效果。
  • Targeting audience(可选)—— 通过受众规则将实验定向分发到指定人群。
  • Add Assignment Source —— 选择数据仓库中的分流数据源(如 exposure,通常已预填)。

点击 Create 创建实验。实验以 Not Started 状态出现在列表中。

层域实验与其他类型对比

对比项层域实验配置实验MAB 实验
流量模型共享 Layer 流量池每个受众独立 100% 流量动态分配
最佳场景大多数 A/B 测试、并行实验跨地域参数调优快速择优
统计严谨性完整完整以 exploitation 为主
Ship 时自动发布否(手动或 Layer 默认值)是(写回 Remote Config)