研究发现的使用(及停用)的多样性表明，人们是富有创造力与创新性的，但有时也会感到迷茫与困惑，难以从基于实验室的研究发现与理论来进行预测(Marshallet al.，2011)。在博物馆与商场等一些轻量级的一次性使用情境人们对这些地方的预期就是“碰到了就用用”中，涌现出了另外的发现。然而，实地考察的困难性在于，如何对人们日常生活中使用的技术进行最恰当的评价。研究人员必须放弃控制；实验室的“脚手架”大多被拆除，人们(并不一定是“参与者”)可使用自己的设备。这使得我们难以预测将会发生什么，当真的有有趣的事情发生时，我们也不一定在场。研究人员只能从自己的观察中推测发生了什么、是什么原因导致的。而且，现在有一种新的期待出现，即实地考察时间应该足够长，以展现行为模式如何随时间而发展。研究人员保守估计，这个时间跨度应该是几周、几个月，甚至更长的时间，但这样一来会令研究成本提高，变得难以控制，难以执行(Kjeldskov etal.，2004)，尤其是在用到需要维护的设备或有许多参观者时。讽刺的是，实验室研究的时间跨度却未受到质问，相反，为免造成疲劳，实验室研究的长度往往严格限定在一个小时内，而且重点在于参与者的数量(Rogers，2011)。
移除实验控制的另一个结果是，人们并不会恰好聚集成几个组、坐在书桌旁，看着电脑屏幕，就像实验室研究中所简单假定的那样(Marshallet al.，2011)。在典型的实验室研究中，参与者被带进实验室，由一名研究人员指定他们的位置，告诉他们该做什么。这种指导在实地考察中大多是没有的，这会极大地影响到研究人员接下来期待看到的交互或协作。而且，公共场合中的人们实地碰到技术时，会留意什么、尝试什么都是各不相同的。因而，人们很少会使用到全部的功能或所有可能的交互行为，令我们难以明白这些功能或交互是否有用、能否用于支持预想的交互。进行实验室研究的一个通常做法是利用多种方法来收集各类数据。典型的方法包括绩效评估(如任务完成情况、准确性）、记录(如测量用户碰触桌面频率与位置的软件)、调查(如偏好评价量表、访谈)及视频数据(如记录手势与小组谈话)。虽然某些假设可能只需要一种数据(如影响任务完成速度的显示屏尺寸)，但人们往往认为数据“越多越好”。收集到各类数据后，研究人员就可以用一些有趣的方式对这些数据进行挖掘，做三角测量，建立关联，详细地显示人们在显示器上如何互动与协作。然而，收集如此多数据也是有缺点的，因为视频转录与分析是非常耗时的。对于使用哪种分析框架，目前尚无公认的范式。而且，也缺乏恰当的可用于比较影响群体协作的不同交互界面的实验范式(Tan et al. ,2008)。
361
数字技术研究(世哲手册)
540