Skip to content

创建与上线实验

本页面是 Create Experiment 表单的字段级参考。完成后,Experiments 列表会出现一条状态为 Not Started 的实验,等待你在前置条件齐备时启动。

只想要最短上手路径?请看快速开始。本页是其背后的逐字段参考。

场景示例: 你的休闲消除游戏设计了一套新通关奖励弹窗,想验证它能否提升 7 日留存——又不想让全部玩家承担风险。创建实验,只对 20% 玩家展示新弹窗,用数据说话后再全量。

打开创建表单

左侧导航点 Experiments → 右上角点 Create。表单分三段,按顺序填写。

实验创建表单

1. 基础信息(Basic Information)

这部分为实验建立「身份证」——SDK 和分析报表都会永久引用这些字段。

字段必填说明
实验 ID(Experiment ID)代码引用的稳定标识,仅字母 / 数字 / 下划线,最多 60 字符。创建后不可修改,请取能长期使用的名字,如 puzzle_reward_popup_v2
负责人(Owner)是(默认)默认当前账号,可加协作者。列在这里的人都能编辑实验并参与决策
层(Layer)默认关闭——实验在隐式层上独占 100% 流量。勾选后可让本实验与同层其他实验互斥;可从下拉选已有层,或先去 Layers & Domains 创建

为什么 Layer 对游戏很重要: 休闲游戏常常同时跑多个实验——商城定价测试和每日奖励留存测试可能并行。没有 Layer 隔离,同一玩家可能命中两个实验,导致你无法判断是哪个改动驱动了指标变化。Layer 保证每个实验拿到干净的独立流量切片。

2. 假设与指标(Hypothesis & Goals)

清晰的假设防止团队在数据里「钓鱼找显著」。它迫使你在看到结果之前就定义好「成功长什么样」。

字段必填说明
假设(Hypothesis)阐述本次实验改了什么、以及你为什么觉得它有效。模板:我们认为 [改动] 对 [人群] 会 [预期效果],因为 [原因],将用 [主指标] 度量
选择指标至少选 1 个主指标,否则 Results 页无法渲染对比图表;副指标作为护栏指标可选

游戏案例——如何写假设: 我们相信,对第 3 天回归的玩家展示转盘抽奖(而非静态宝箱),能提升 7 日留存至少 2 个百分点——因为动态奖励反馈能形成更强的多巴胺循环。主指标 D7 留存率,护栏指标 ARPU 和广告观看率,确保收入不受负面影响。

指标的类型与配置详见指标目录

3. 流量与分组(Allocation and Groups)

这一段决定谁会被曝光每个变体下发什么内容。在游戏场景中,流量分配需要格外注意:分太少要等好几周才跑出显著性;分太多则会对大量付费玩家暴露可能有害的方案。

流量分配(Traffic Allocation)

0–100 的数字,表示实验占当前层的流量比例。下方提示当前层剩余可用流量。默认 0%——意味着即使创建出来,实验在列表里也会带 Not Active,启动前请改成大于 0 的值。

休闲游戏建议: 低风险 UI 改动(按钮颜色、弹窗时机)可以给 50–100% 流量,利用高 DAU 快速跑出结论;涉及付费的改动(定价、礼包组合)建议先 10–20%,把收入风险控制在可接受范围。

变体(Variants)

每个实验默认带 ControlTreatment_A,按 50/50 拆分。点 Add Variant 增加更多实验组;启动前所有百分比加起来必须等于 100%。

游戏案例: 测试三种插屏广告频率——Control(每 5 关)、Treatment_A(每 3 关)、Treatment_B(每 7 关),找广告收入和单局时长之间的最优平衡。

参数(Parameters)

如果代码需要从本实验读配置值(按钮颜色、功能开关、阈值等),点 + Add parameter。每个变体为每个参数提供自己的取值,SDK 与 HTTP API 都按参数名引用。

游戏场景——参数实战: 消除游戏从 SDK 读 bonus_multiplier。Control 取 1(当前行为),Treatment_A 取 2(通关后金币翻倍)。游戏代码运行时直接读这个参数——无需发版,也不用更新客户端。

白名单(Allowlist,可选)

把指定用户强制划到某个变体。Allowlist 曝光会跳过流量分配与受众规则,主要用于 QA 验收和小范围预览。

对游戏团队的价值: 正式上线前,QA 和制作人希望在游戏里亲眼看到 Treatment 变体的效果。把他们的玩家 ID 加入 Allowlist,无论随机分组如何,他们永远看到新方案。

定向受众(Targeting Audience,可选)

把实验限定到某个受众。受众的规则会以只读形式展示在下方,便于审阅者不离开当前页就看清完整过滤条件。受众请先在受众概览中创建。

游戏场景: 你只想对到达 50 关以上的玩家测试更高难度曲线,因为新玩家技能水平还不足以感知差异。创建一条受众规则 level ≥ 50,在这里关联即可。

分流来源(Assignment Source)

平台读取曝光归属的仓库表,默认值通常已预填。表结构契约详见连接数仓概览

提交与启动

Create。新行出现在实验列表,状态为 Not Started。详情页直接打开到 Setup 标签——字段同上,但可以原地编辑。

要启动实验:

  1. 先把 Experiment prerequisites 列出的前置条件补齐(受众、参数、可选 Allowlist)
  2. 头部点 Start
  3. 状态切换为 In ProgressResults 标签开始累积数据

从页头启动实验

接下来你的游戏会发生什么: 实验启动后,玩家进入对局时会被 SDK 静默分配到某个变体。根据 DAU 规模,几小时内就能在 Results 看到累计曝光攀升。大多数休闲游戏实验在 7–14 天内能达到统计显著。