@@ -42,9 +42,9 @@
设计我们实验设施的目标是：
*
* `Bug` 的实验或是无意中产生的很差的实验结果）都应该能很快的被捕获并且停止它的进行。标准化的标价指标可以让所有的实验进行公平的比较：比如在计算`CTR` 指标的时间，两个实验应该用相同的过滤器去掉爬虫流量。
*
-
- `Bug` 的实验或是无意中产生的很差的实验结果）都应该能很快的被捕获并且停止它的进行。标准化的标价指标可以让所有的实验进行公平的比较：比如在计算`CTR` 指标的时间，两个实验应该用相同的过滤器去掉爬虫流量。
-
为了达到这些设计的目标，我们不仅需要实验设施来进行更多的实验，并且需要一些工具和指导过程来支持更多和更快的实验。
@@ -85,14 +85,14 @@
事实上，我们设计的更加灵活，我们不止是将参数划分子集，再将子集与层相关联。为了解释灵活性，我们引入了一些定义。在流量和系统参数的语境下，我们有三个关键的概念：
*
*
*
-
-
-
域和层可以相互嵌套。域中包含层。层中包含实验，层中也可以包含域。在一个层中嵌套域可以使这一层中的参数在嵌套域中进行进一步划分。开始时，我们有默认的域和层，它有包含所有的流量和参数，在默认域和层中，比如我们可以：
* （ ） ， ， ， ，
* ， （ ） ， （ ） ， ， ， （ ） ， ， ， ，
- （ ） ， ， ， ，
- ， （ ） ， （ ） ， ， ， （ ） ， ， ， ，
<img src="figure-02.png" width="512" />
@@ -106,9 +106,9 @@
另一个概念是**发布层**（ `Launch layers` ），发布层与前面介绍的实验层有下面区别：
*
*
*
-
-
-
发布层的示例在图2c、2d中， ， ，
@@ -129,11 +129,11 @@
在这个设施下，一个特性的评估和发布过程是类似如下过程的：
* `code review` 、二进制推送、设置默认参数等等，和标准的工程实践一样）。
*
* `cookie` 取模），分配条件，和特性相关的参数。
*
*
- `code review` 、二进制推送、设置默认参数等等，和标准的工程实践一样）。
-
- `cookie` 取模），分配条件，和特性相关的参数。
-
-
# 5. 工具与流程
@@ -141,8 +141,8 @@
## 5.1 工具
* `id` 的唯一性，根据所有的参数判断是否实验在正确的层，是否这一层有足够的流量来支持实验，流量约束检查，如果实验要求的流量已经被另一个实验使用了，等等，注意当可用的分配条件集合变大时，这些检查就变的复杂了），和基本的实验设置检查（是否实验有对比实验，并且对比实验在相同的层，是否对比实验与实验的流量分配方式和规模一致，等等）。
* `CTR` ），我们通过实时监控尽快地发现某个实验是不正常的，实验者可以设置监控指标的期望值区间（也有这些指标的默认波动区间），如果监控指标超出了期望的波动区间，那么会触发自动告警，然后实验者可以修改期望区间或停止他们的实验，或调整它们的实验参数值，但它允许实验者可以激进地对于可能的潜在的变化进行测试，因为错误或预期之外的影响会被很快检测到。
- `id` 的唯一性，根据所有的参数判断是否实验在正确的层，是否这一层有足够的流量来支持实验，流量约束检查，如果实验要求的流量已经被另一个实验使用了，等等，注意当可用的分配条件集合变大时，这些检查就变的复杂了），和基本的实验设置检查（是否实验有对比实验，并且对比实验在相同的层，是否对比实验与实验的流量分配方式和规模一致，等等）。
- `CTR` ），我们通过实时监控尽快地发现某个实验是不正常的，实验者可以设置监控指标的期望值区间（也有这些指标的默认波动区间），如果监控指标超出了期望的波动区间，那么会触发自动告警，然后实验者可以修改期望区间或停止他们的实验，或调整它们的实验参数值，但它允许实验者可以激进地对于可能的潜在的变化进行测试，因为错误或预期之外的影响会被很快检测到。
## 5.2 实验设计与样本量
@@ -158,9 +158,9 @@
在工程实践中，我们主要关注 <img src="http://chart.googleapis.com/chart?cht=tx&chf=bg,s,00000000&chl=%5Ctext%7Bqueries%7D_%7B%5Ctext%7Bcontrol%7D%7D" style="border:none;" alt="\text{queries}_{\text{control}}" /> 和 <img src="http://chart.googleapis.com/chart?cht=tx&chf=bg,s,00000000&chl=%5Ctext%7Bqueries%7D_%7B%5Ctext%7Bexperiment%7D%7D" style="border:none;" /> ，但要通过 <img src="http://chart.googleapis.com/chart?cht=tx&chf=bg,s,00000000&chl=N" style="border:none;" alt="N" /> 个和才能影响相关的实验指标，为了正确确定 <img src="http://chart.googleapis.com/chart?cht=tx&chf=bg,s,00000000&chl=N" style="border:none;" alt="N" /> 值，我们需要知道：
*
* ） ，
*
-
- ） ，
-
_ Kohavi _ 假设实验与对照实验有相同的大小，比如 <img src="http://chart.googleapis.com/chart?cht=tx&chf=bg,s,00000000&chl=%5Ctext%7Bqueries%7D_%7B%5Ctext%7Bexperiment%7D%7D%3D2N" style="border:none;" alt="\text{queries}_{\text{experiment}}=2N" /> ，那么必须 <img src="http://chart.googleapis.com/chart?cht=tx&chf=bg,s,00000000&chl=2N" style="border:none;" alt="2N" /> 大于等于 <img src="http://chart.googleapis.com/chart?cht=tx&chf=bg,s,00000000&chl=16(s%2F%5Ctheta)%5E2" style="border:none;" alt="16(s/\theta)^2" /> 才能满足最小变化检测需求， （ ， ，
@@ -196,10 +196,10 @@ _Kohavi_ 假设实验与对照实验有相同的大小，比如 <img src="http:/
实验除了正确性和完备性，对一个实验分析工具的其它重要设计目标包括：
* `delta` 方法和其它的经验方法来计算置信区间：将实验分成几个子集，从这些子集上统计方差，并注意，一定要观察多个实验指标和实验，因为一些指标值会随机显示为显著，所以一定要多检查。
* `UI` ， `UI` 必须是易用的，并是易于理解的。图形化是会有所帮助的，如果要聚合的效果在一定时期内是致的，即使是简单的走势图也能对可视化有所帮助。`UI` 也应提示不合理的比较（比如，比较两个不同层的实验），并且`UI` 应该方便地更改对比的实验，或对比的时期等等。
* `CTR` 改变），而是因为一个混合的变化（比如，更多的商业搜索词）。正如 _ Kohavi _ 所言[4]，辛普森悖论的观察与理解是很重要的。
*
- `delta` 方法和其它的经验方法来计算置信区间：将实验分成几个子集，从这些子集上统计方差，并注意，一定要观察多个实验指标和实验，因为一些指标值会随机显示为显著，所以一定要多检查。
- `UI` ， `UI` 必须是易用的，并是易于理解的。图形化是会有所帮助的，如果要聚合的效果在一定时期内是致的，即使是简单的走势图也能对可视化有所帮助。`UI` 也应提示不合理的比较（比如，比较两个不同层的实验），并且`UI` 应该方便地更改对比的实验，或对比的时期等等。
- `CTR` 改变），而是因为一个混合的变化（比如，更多的商业搜索词）。正如 _ Kohavi _ 所言[4]，辛普森悖论的观察与理解是很重要的。
-
只有一个工具提供实验准确的指标意味着我们有唯一的一致性实现，它使用相同的过滤器（比如，移除潜在的爬虫流量和垃圾流量），这样，不同的团队之间就可的`CTR` 值就具有了可比较性。一个唯一的工具也更高效，因为计算会一次完成后，并呈现给实验者们，而不是每个实验者进行他们自己的计算。
@@ -211,12 +211,12 @@ _Kohavi_ 假设实验与对照实验有相同的大小，比如 <img src="http:/
第一个过程我们称之为实验委员会，它包含一组工程师，他们会审核实验者在做实验前提交的一个轻量级的`checklist` ， `checklist` 中问题包括：
*
*
*
*
*
*
-
-
-
-
-
-
初次使用的实验者会通过这些问题学习合理的实验设计和实验样本量，并了解实施一个实验背后的技术细节。有经验的实验者仍会发现`checklist` 仍是有用的。不止于此，这个方法可以将所产生的更好的实验实践传播出来（比如，产生了新的工具来促进实验，产生了新的评价指标，等等），这个`checklist` 是一个`Web` 应用，`Web` 应用对于存档和教导都是有用的，教导作用体现在实验者可以阅读以往的`checklist` 来理解相关信息。
@@ -224,9 +224,9 @@ _Kohavi_ 假设实验与对照实验有相同的大小，比如 <img src="http:/
另一个过程是讨论会，实验者们带着他们的实验结果与专家进行讨论，讨论的目标是：
* `debugging` ）的过程，而对涉及的应用、日志、实验设施、指标和分析工具都有整体了解的专家是解决问题的关键。
*
*
- `debugging` ）的过程，而对涉及的应用、日志、实验设施、指标和分析工具都有整体了解的专家是解决问题的关键。
-
-
讨论会对实验者是一个学习如何解读实验结果的有益之所，有经验的实验者通常不会犯以前犯过的错误，并可以预期要得到完全理解的实验结果，需要什么数据。讨论是开放的，将来要进行实验的人，可以参加以了解运行一个实验需要了解什么。实验都会记录，我们就有了一个知识库。
@@ -245,10 +245,10 @@ _Kohavi_ 假设实验与对照实验有相同的大小，比如 <img src="http:/
另一个衡量我们整体系统工具和系统的指标是判断是否比以前运行实验更好，于此我们仅有耳闻，没有实际的数据，但我们是实验委员会和讨论组的成员，我们见过这个系统发布前后的许多实验情况，我们观察的结论是：
*
*
* `CTR` 的』或是『你用的是什么过滤器』的讨论减少了，有一个权威的分析工具，讨论的重点现在仅在于对指标进行解释，而不是确保指标的定义和计算都是合理的。
*
-
-
- `CTR` 的』或是『你用的是什么过滤器』的讨论减少了，有一个权威的分析工具，讨论的重点现在仅在于对指标进行解释，而不是确保指标的定义和计算都是合理的。
-
显然理想的结果是上述问题都不存在，但是考虑到我们有更多的实验者，而上述问题即在下降，这已经是一个不错的结果。
@@ -256,10 +256,10 @@ _Kohavi_ 假设实验与对照实验有相同的大小，比如 <img src="http:/
最后的一个衡量我们系统成功的指标是我们是否最终更快地得到数据，并更快地做出决策，对于速度，我们还是没有具体数据，但我们可以讨论对实验速度的观察，实验可以分解为下面几个阶段：
*
* `review` 时间同样很短， ， （ ）
*
*
-
- `review` 时间同样很短， ， （ ）
-
-
概括才言，当前的耗时点有：实现一个实验，在预时期的运行时间、自定义分析。这些耗时点是我们努力解决的点。
@@ -269,10 +269,10 @@ _Kohavi_ 假设实验与对照实验有相同的大小，比如 <img src="http:/
下面是几个我们要继续改进我们实设设施的方向，包括：
*
*
*
*
-
-
-
-
> 【译注】：斯瓦希里语是当今非洲最常用的语言之一。
@@ -282,14 +282,14 @@ _Kohavi_ 假设实验与对照实验有相同的大小，比如 <img src="http:/
# 8. 参考资料
* **_Proceedings of the ACM Conference on Knowledge Discovery and Data Mining (KDD)_ ** , 2007.
* **_Sampling Techniques_ ** . Wiley, 1977.
*
*
*
* **_Proceedings of the ACM Conference on Knowledge Discovery and Data Mining (KDD)_ ** , 2002.
* **_Data Mining and Knowledge Discovery_ ** , 18, no. 1:140–
* .
* ’
* **_Proceedings of the 16th International World Wide Web Conference_ ** , 2007.
* **_A Concise Course in Statistical Inference_ ** . Springer Texts, 2004.
- **_Proceedings of the ACM Conference on Knowledge Discovery and Data Mining (KDD)_ ** , 2007.
- **_Sampling Techniques_ ** . Wiley, 1977.
-
- < http://exp-platform.com/Documents/ExPpitfalls.pdf> .
- < http://www.google.com/analytics/siteopt> .
- **_Proceedings of the ACM Conference on Knowledge Discovery and Data Mining (KDD)_ ** , 2002.
- **_Data Mining and Knowledge Discovery_ ** , 18, no. 1:140–
- < http://hci.stanford.edu/courses/cs147/lab/slides/08-experimentation.pdf> .
- ’ < http://exp-platform.com/default.aspx> .
- **_Proceedings of the 16th International World Wide Web Conference_ ** , 2007.
- **_A Concise Course in Statistical Inference_ ** . Springer Texts, 2004.
Jerry Lee