快速开始：6 步跑通你的第一个实验

本指南面向游戏工作室的产品经理、运营和数据分析师，带你从零完成第一个 A/B 实验——从创建项目到查看结果。

工程师请直接看 SDK 快速开始；本页关注产品 / 数据角色的端到端体验。

贯穿场景： 你的消除类游戏在关卡失败时有一个弹窗，现在想测试新增「看广告续命」选项是否能提升次日留存，再决定是否全量上线。

开始前需要准备

准备项	在哪里确认
团队成员已注册平台账号	见账号注册
一个项目（或使用 Demo 项目）	首页项目列表
已连接的数据仓库	Data Management → Warehouse Native，状态为 Configured
至少一个已定义的指标	Data Management → Metrics Catalog

Step 1：创建项目

每款游戏对应一个独立项目，实验、云控配置、指标互不干扰。

场景示例：你的工作室发行了三款游戏，每款各建一个项目，由各自团队独立管理实验和参数。

1. 邮件联系 support@abetterchoice.ai 或通过 Slack 社区申请开通项目
2. 提供 项目名称 和 团队权限名单

角色	权限范围	适合谁
管理员	所有功能读写 + 用户权限管理	项目负责人
核心成员	所有功能读写（不含权限管理）	实验负责人、数据负责人
普通成员	低风险功能读写（不能上线实验、不能改层域、实验期不可改实验参数）	协作人员

Step 2：接入 SDK 实现实验分流（可选）

ABetterChoice SDK 负责为每个玩家计算变体归属——你的代码调用 SDK 时，平台返回该玩家应看到的实验变体和参数值，并自动写入曝光记录。

场景示例：玩家进入关卡失败界面，游戏代码调用 SDK 询问「这个玩家进哪个变体」，SDK 返回 Treatment_A 和参数 show_ad_continue = true，游戏据此渲染含广告续命选项的新版弹窗，平台同步落库一条曝光。

接入 SDK 后能解锁的能力

能力	简介
双 Hash 科学分流	双层哈希保证分组随机均匀，从源头避免 SRM
MAB 多臂老虎机	根据指标表现动态调整流量，自动倾向更优变体
自适应分流（建设中）	实验运行中根据用户特征智能优化分流
自动调参实验（建设中）	平台自动探索参数空间，无需人工列举候选值

接入步骤

1. 选择适用的 SDK 或 HTTP API SDK 与 API 概览
2. 用 API Key 初始化 SDK
3. 在需要分流的代码位置调用 getExperiment() 获取变体归属
4. SDK 自动上报曝光，无需额外开发

不接入 SDK 也可以使用平台。如果你的业务已有自有分流系统，可自行分流并把分流结果作为曝光数据回传到数仓，平台仍能基于你的曝光数据完成分析；只是双 Hash 分流、MAB、自适应分流等需要 SDK 的能力将不可用。

Step 3：接入曝光数据

曝光数据回答一个问题：哪个玩家看到了哪个版本？

场景示例：你的消除游戏服务端在每次会话开始时已经往 BigQuery 写入了一条分组记录，只需把这张表映射过来即可。

方式	适用场景	操作
SDK 自动上报（推荐）	已在 Step 2 接入 SDK	SDK 调用 getExperiment() 时自动上报，无需额外配置
Warehouse Native	未接入 SDK，游戏服务端已有分组日志	Data Management → Warehouse Native → 连接 BigQuery → 将已有表映射为 Assignment Table 曝光表数据接入说明

Step 4：接入行为数据

行为数据驱动所有指标计算——广告收入、留存、关卡通过率、付费转化。ABC 直接从你的数仓读取，不复制数据。

场景示例：你的 player_events 表记录了关卡开始、通关、广告观看、道具购买等事件。映射一次后，平台就能基于它计算次日留存、广告观看率、ARPU 等指标。

事实表接入说明

1. Data Management → Warehouse Native —— 确认 BigQuery 已连接
2. Data Management → Tables —— 将事件表映射为 Fact Table

Step 5：定义指标

指标是实验的胜负标尺——它决定哪个版本赢。 指标接入说明

场景示例：为关卡失败弹窗实验定义 D1_Retention（次日留存，越高越好）作为核心指标，Ad_Watch_Rate（广告观看率，越高越好）作为辅助。起步阶段 1–3 个核心指标够用，后续随时可以添加。

1. Data Management → Metrics Catalog → Create
2. 关键配置：
   • 指标名（Name）：如 D1_Retention
   • 聚合方式：Retention / User Proportion / Average / Sum
   • 数据来源：上一步映射的 Fact Table
   • 期望方向：Higher is better 或 Lower is better

详见指标目录。

Step 6：创建并运行你的第一个实验

创建

场景示例：你想验证「看广告续命」弹窗是否提升次日留存。对照组保持原弹窗，实验组新增广告选项。

前往 Experiments → Create，按三段填写：

1. 基础信息

• 实验 ID（Experiment ID）：代码引用的唯一标识，如 level_fail_popup_v2，创建后不可改
• 负责人（Owner）：默认当前账号，可加协作者
• 层（Layer）：第一个实验不勾选；后续多个实验需要互斥时再使用

2. 假设与指标

• 假设（Hypothesis）：写清改动、人群、预期效果。例：「在关卡失败弹窗中新增『看广告续命』选项，将提升休闲玩家的次日留存率。」
• 指标：点 + Metrics，选 1 个主指标（如 D1_Retention）

3. 分组与流量

• 流量分配：实验占用的流量比例（第一个实验用 100% 即可）
• 变体（Variants）：默认 Control（原弹窗，50%）+ Treatment_A（新弹窗，50%）
• 参数（Parameters）（可选）：SDK 读取的配置值，如 show_ad_continue = true
• 定向受众（Targeting Audience）（可选）：仅对特定人群生效（如至少失败过一次的玩家）

点 Create，实验进入 Not Started（调试期）状态。

启动

打开实验 → 点 Start，状态变为 In Progress（实验期），开始累积曝光。

查看结果

打开 Results 标签页，顶部两张卡片：

• 累计曝光（Cumulative Exposures）：各组累计曝光趋势，确认流量正常进入
• 智能提示（Suggestion）：平台根据当前状态给出的建议（如「数据收集中…」「建议添加主指标」）

下方三个分析视图：

标签	用途
基础分析（Basic Analysis）	指标对比——提升幅度、p 值、置信区间
下钻分析（Explore）	按维度下钻（国家、设备、玩家等级段）
HTE 分析	哪类玩家从改动中获益最大

实验决策

数据达到统计显著后，点 Make Decision → 发布优胜版本或归档实验。

完整回顾：创建项目 → 接入 SDK → 连接 BigQuery 表 → 定义次日留存和广告观看率 → 运行 level_fail_popup_v2（50/50 分流）→ 5 天后观察到次留 +1.8%（p < 0.05）→ 全量发布 Treatment_A。

接下来可以做什么

• 让多个实验互不干扰 →层域说明
• 只对特定玩家生效 →受众概览
• 用云控配置做活动热更新 →云控配置概览
• 深入理解统计方法 →统计引擎模块
• 把实验接入游戏代码 → SDK 与 API 概览