困难之一在于定义适当的指标来衡量所需的效果，这是一种被专家称为总体评估标准（Overall EvaluationCriterion）的综合指标。例如，点击率的提升可能是一个误导性的利好信号，因为该提升实际上伴随着网站流量的下降。因此，有必要找到一种令人满意的方法来捕获这两个方面，并确保结果的可靠性，特别是排除软件机器人的活动产生的错误信号。然而，一旦这些困难得到充分考虑，实验就变得非常可靠。
谷歌首席经济学家哈尔·瓦里安（HalVarian）认为，随机实验“是因果关系的黄金标准。如果你真的想了解因果关系，就必须做实验。如果你不断地做实验，你就能改进你的系统”①。从技术上讲，瓦里安错了。测试本身并不能解释因果关系，即它们只能告诉我们相关性在统计学上的稳健性，但并不能说明造成相关性的原因。例如，可以确定的是，改变广告的颜色会提高点击率。但为什么会存在这种联系？是什么文化、社会或生物机制在起作用？我们不得而知。唯一能证明的就是这种联系。不过，从工具主义的角度来看，这已经足够了。这些相关性为建立有利可图的系统提供了充分的基础。
技术封建主义
① Hal R. VARIAN, «Beyond Big Data» , loc. cit., p. 29.
102