数字技术研究

这一案例表明，多模态资源的可用性如何改变了学生们从事的表征工作，以及对这些表征的解释工作，尤其是学生们需要留意处理及特别说明的事项。最后，该案例强调了分析多模态交互的可能性，以及理解以技术为中介的学习中屏幕显示表征资源的范畴。

局限与挑战

尽管多模态研究提供了许多新内容，但也存在一些局限。对多模态的一个批评似乎认为其分析仅凭印象，过于主观你怎么知道这个手势是这个意思？那个图像是那个意思？从某些程度上讲，这是多模态的语言学传统的问题，也就是说，你如何从语言学跳转至其他模式。从某种程度上讲，这也是观点问题，即认为符号资源是情境性的、易变的、灵活的，这令建立多模态符号资源的“稳定分析目录”变得复杂起来。有一点值得注意，即这个问题也存在于口头或书面语言中。确立某个意义或类别的“安全性”这一原则，对于多模态、语言学及其他学科的意义是相同的。将人们建构的意义(无论何种模式)与情境及社会功能联系起来，有助于解决这一问题。多模态研究的一个趋势是，越来越倾向于通过考察各类数据(比如将文本、视频分析与访谈结合起来），通过实践参与来探讨人们应对这一潜在问题的分析意义。

与上述解释问题相关的一个批评指出：多模态是一种“语言帝国主义”，引入语言学术语，并将其强行用在各类事物上。这些批评忽略了一个事实，即多数有关多模态的研究起源于通信的社会符号理论，而该视角中的社会元素使其脱离了更为狭窄的句法结构、语言与心智及长期统治着该学科的语言共性。这种通信观能够(以不同的方式)应用于所有模式。

数字技术研究(世哲手册)

263

396

多模态分析是一个高强度的研究过程，无论是从时间还是劳动强度来讲皆是如此。我们可以使用多模态研究，通过特定案例，对“大”问题进行细致的考察。但是，多模态研究的规模可能制约了多模态的潜势，使其只能用于说明特殊问题，难以扩展到一般情形。随着多模态研究的不断增加，我们有可能克服部分局限，同样也有可能以新的方式将多模态分析与定量分析结合起来。

结 论

本章对多模态领域进行了介绍，讨论了多模态的概念，概述了其理论渊源，展示了其基础假设。文章通篇介绍了多模态方法的几个核心关键概念，通过以上呈现的文献分析与案例研究进行了讨论与举例分析。就这样，本章介绍了多模态的范畴，从四个方面阐述了多模态在数字技术研究中的应用潜力：①对各种模式的系统描述，以研究复杂的数字中介环境中的意义建构，以及多模态数字产物、交互与体验的评估与设计；②对特定数字环境中的解释与交互的调查；③新的数字符号资源及其新使用方式的识别与开发；④对研究方法的贡献。最后，文章指出了多模态方法用于数字技术的部分局限与挑战。

参考文献：

第17章 研究数字技术的多模态方法

264

397

数字技术研究(世哲手册)

398

第17章 研究数字技术的多模态方法

399

数字技术研究(世哲手册)

400

第17章 研究数字技术的多模态方法

401

第18章 “基于设计的研究”的预测、场所与观点

基于设计的研究范式综合了设计的前沿思考、产品生成实践及研究的知识生成目标(Fallman,2003;Nelson&Stolterman,2003;Zimmerman et al.,2007;Zimmerman et al.,2010;Koskinen et al.,2011)。这种新的认识论是作为传统实验室实验与现场观察研究的补充而出现的，尤其是面向设计的学科；比如在人机交互学科，研究人员往往会创造出一些产品，换一种新的眼光来理解人们(Fallman，2003)。在基于设计的研究中，产品并非最终目标，而只是设计另一种未来，揭示人类需求、欲望、情绪及渴望的手段(Carroll&Kellogg，1989;Gaveret al. ,1999;Gaver et al. ,2004;Dunne,2011)。

随着越来越多的研究人员采用这种方法，出现了一种日益迫切的需求，即探索基于设计的研究的基本原则与方法论含义，理解该如何判断其研究贡献的有效性。本章有如下几个目标：①给“基于设计的研究”下一个定义，使其区别于人文科学领域的传统认识论；②描绘该研究导向的几个关键层面，分析其如何预测未来状态、将设计产品置于何处以获取数据、研究人员如何让别人信服自己的哲学观点；③最后一点，讨论研究群体用以评估“基于设计的研究”贡献的部分标准。我们希望，经过对“基于设计的研究”的这种分析，能够帮助扩展其定义，为设计研究领域的研究者及学生提供一个有用的框架。

什么是“基于设计的研究”？

2004年，比尔·盖弗(BillGaver)在皇家艺术学院的设计工作室创造了一个极其特别的产品—一台电子咖啡桌，一个微小的空中摄影显示器根据重力分布在桌面上缓缓移动(Gaveretal.，2004;见图18.1)。盖弗及其同事对于人们是否愿意购买这个漂移台并不感兴趣。他们并未打算让这个漂移台被大家广泛接受或用于商业用途，而只是用作探究对象。这款令人兴奋的产品帮助盖弗及其同事对非常规家务活动与“游戏”心理，如好奇与反思等进行了研究。

266

267

402

在基于设计的研究中，研究人员开发并有效地利用了一些新颖的产品——数字或物理产品——作为了解人类体验具体层面的手段(Frayling，1993)。传统的设计活动主要关注的是如何创建各种产品、系统或服务来产生文化或经济影响(Kelley,2002;Buxton,2007;Kolko,2007)，而基于设计的研究则利用专门设计的产品来创建理论（Carroll&Kellogg，1989;Fallman，2003;Zimmerman et al.,2007;Zimmerman et al.,2010)。这种面向设计的研究方法的目标不只在于创建产品，更加注重的是对人、文化或交互的理解。而且，基于设计的研究既不同于“设计研究”，此类研究关注的是人们在设计时做了什么；也不同于“为设计而研究”，此类研究更关注如何提升设计实践(Forlizzi et al.,2009;Dow,2011)。

基于设计的研究将设计作为一种基础研究方法，因而，具有许多同专业设计活动相同的特点。设计研究人员使用画草图与制造原型机等技巧(McCloud，1993;Schrage,1996;Davidoff et al.,2007)。他们通过用户研究与设计批评来收集反馈(Tohidi et al.,2006;Dow et al.,2011)。同设计实践者相似，设计研究者通过循环试验过程发现设计空间的各个关键层面(Kelley,2002;Dow etal.,2009;Dow et al.,2010)。基于设计的研究也旨在预测世界的未来状态，融入真实的人类反应(Simon，1996;Gaver et al.,2003)。基于设计的研究与设计实践间的重要区别在于，设计研究者的主要活动是将人与设计产品间相互作用的方式与原因等认识进行理论化与正式化(Fallman,2003;Nelson&Stolterman,2003;Zimmerman et al. ,2007;Zimmerman et al. ,2010; Koskinenet al.,2011)。

第18章“基于设计的研究”的预测、场所与观点

403

从研究视角来看，设计使得研究人员能够调查人们在尚未实现或者永远不可能实现的情境中如何思考、表现或相互作用。正是这种面向未来的思考—面对“可能的情况”(Peirce,1998;Martin,2009)—令基于设计的研究极大地区别于传统的研究范畴。通过超前思维，基于设计的研究承认世界在变化这一事实，以及人类能动性在这种变化中的作用（Nelson&Stolterman，2003)。设计研究者根据自己的未来愿景制造原型机，尝试着理解这些愿景的含义，并设法将自己的观点告知与传播给更广大的受众。

基于设计的研究是一项知识建构的尝试，跳出了传统人文研究，比如民族志与心理实验的限制(Nelson&Stolterman,2003;Gaver,2012)。在人类学民族志研究中，研究人员描述的是特定时空领域里的人与活动（Malinowski，1984;Dourish，2006)。设计好的产品往往需要存放于这些环境中，但民族志学者并不只是将其摆放在那里。民族志学者往往小心翼翼，尽量不要因为自己的存在或引入新产品而损害了地方文化(LeCompte，1999)。部分民族志学者倡议，在描述研究人员如何访问网站、个人环境如何影响到数据时，要进行自我反省(Geertz,1977;Rode,2011)。尽管基于设计的研究使用民族志式的方法来收集数据，但在实践中，人们对于干预则持更加开放的态度。设计研究人员往往大胆而明确地进行干预，他们设计产品并将其引入到某个情境，观察其对该情境产生的影响(Gaver etal.，2004)。比如，为了更好地理解如何提高航空交通管制塔中的工作实践，麦凯等人首先进行了细致的民族志观察，了解管制员如何使用纸糊的简易机场模型（Mackay，1999），继而开发了一个跟踪系统进行基于设计的研究，并活灵活现地增强了数字信息中机场的物理外观(Mackay et al.，1998)。

数字技术研究(世哲手册)

268

404

通过传统的实验室实验进行的研究，提供了另一个对比点。实验室实验重视的是可重复性、普遍性与内部有效性(Creswell&Clark,2006)。实验室研究人员仔细地分离关键因素，创造一些测量手段来理解特定刺激因素间的因果关系(Stangor,2010)。基于设计的研究也借用了基于实验室的方法来研究人们如何对新产品作出反应(Frens,2006)。正规的实验室环境有助于控制观察中的各种因素。控制实验每次只操纵一个变量，而基于设计的实验室研究则可探讨多种变量(Frens,2006;Dow et al.,2007;Ju& Takayama,2009)。比如，史蒂夫·道及其同事使用相同的互动叙事对增强现实与基于桌面的交互进行了对比(Dow et al.,2007;参见图18.2)。这个影响广泛的实验帮助研究人员研究了各种变量如何影响到玩家的参与。在实验室里，设计研究人员使用各种产品来探讨某设计空间的多个层面。

基于设计的研究代表了一种新的认识论。这种方法不仅引入了新的产品，也运用了截然不同的逻辑。在现场观察中，研究人员使用归纳推理，从数据中获得逻辑结论(Copi&Cohen,2005)。在实验室实验中，研究人使用演绎推理来预测基于理论的结果(Creswell&Clark,2006)。另一方面，设计研究人员使用溯因推理，依据不完整的观察，来推测未来可能是怎样的(Peirce,1998;Kolko,2011)。他们以某套理想典范与议题为基础，提出“要是……又怎样？”等问题(Fallman，2003)。设计研究人员以未来设计为着眼点(Moggridge,2007)，必然要承载不同的认识论，而不只是纯粹的民族志现场研

第18章“基于设计的研究”的预测、场所与观点

269

405