数字技术研究

具身理论被引入人机交互

在人类交互技术的设计与评价领域关注具身交互之前，就有许多研究者已注意到了此类问题，其中两部作品在人机交互与更广泛的认知科学领域产生了深远的影响，分别为威诺格拉德和弗洛里斯(Winogradand Flores)的著作《理解计算机与认知》(UnderstandingComputers and Cognition)与萨奇曼(Suchman)的《计划与情境行为》(Plans and SituatedActions)。

威诺格拉德和弗洛里斯的《理解计算机与认知》

威诺格拉德和弗洛里斯(1986)提出的观点具有深远的影响力，替代了将认知主义作为一套形式系统的方案，在人机交互领域产生了重要影响，引入了一些探讨技术思维与行动的新词汇。他们特别借鉴了现象学理论(Heidegger，1927;Dreyfus，1991)，反对将思维与产生思维的情境相隔离的认知主义立场。相反，他们提出的观点认为，技术的使用本质上是具有历史、物质及社会等属性的。按照这种观点，完全孤立的推理是不可能的，因为推理总是依赖于某种传统或前理解，而这种传统或前理解源于以往与拥有共同传统的其他人进行的互动。按照这一描述，所有的理解都源于世间生活，即海德格尔所说的此在。

威诺格拉德和弗洛里斯还采用了海德格尔的被抛(thrownness)概念。这一概念强调的是全身心地投入、熟练地应对特定情境的体验，没有办法确切地预测你的行为会产生什么结果，也没有对此情形的稳定的客观表征。我们需要清楚一点，这种推理本质上是联机进行的(Wheeler，2005)，完全不同于认知主义的抽象思维特征。与被抛概念密切相关的是触手可及或透明观念，这些概念指的是事物如何“消失”在日常行为过程中。这并不是说，事物真的会消失，而是指其不再成为人们关注的焦点。这方面的典型案例仍然是关于锤子的使用，这个案例也来自于海德格尔。本例中的重点是锤打这个行为。锤子本身不再是受到关注的对象，同样，活动过程中，胳膊的肌腱也未受到人们的关注，继而隐含在人们对身体、锤子、钉子、制作行为等之间联系的基本理解中。

数字技术研究(世哲手册)

216

倏忽而至(Presence-at-hand)是指从理论角度理解某种情形，或者从事物本身的属性来看待某个对象或特性。海德格尔认为，这一直以来就是科学分析中看待世界的典型方式，他不理会触手可及这一体验世界的基本方式。“倏忽而至”产生于故障发生之时，即“我们习惯性的、标准的、舒适的世间生活”受到干扰的时刻”(WinogradandFlores,1986:77)。回到锤子的例子上，当把手变松时，锤子便倏忽而至，似乎就其本身而成为关注对象，可用于理论反思。然而，这仍然有别于理性主义者对客体知识的认知观点，因为倏忽而至的反思总是与触手可及体验这个背景相关。学习是在使用与应用情境中对倏忽而至反思的深入实践。

我们有时会进行有意识的反思与系统的思考，但这些与我们在自身行动情境中先于反思的体验相比都是次要的。我们总是投身于某个情境中的活动，没有机会完全脱离情境，作为孤立的观察者。即便是我们所谓的“脱离”也是在被抛中发生的：我们并未逃脱自已的被抛，只不过是转移了自已的关注点(WinogradandFlores,1986:71)。

虽然他们的研究遭到批评，被指将其观点应用于系统发展时仍然保留了理性主义元素(Suchman，1994)，但威诺格拉德和弗洛里斯将现象学理念引人认知科学与人机交互，已经产生了极其重要的影响力。与此同时，露西·萨奇曼也提出了一种重要的观点，同样也吸收了现象学的部分元素。

萨奇曼的《计划与情境行为》

露西·萨奇曼(1987)对认知主义心智概念在交互系统设计中的应用提出了另一个颇具影响力的批评。她研究了与某个专门为塑造人类认识而设计的影印机的互动。该影印机在与用户的互动中使用了基于规划的认知模式：这种模式认为认知就是要生成一份基于目标的步骤图，该步骤图继而可被用于引导用户的行为。萨奇曼采取的是常人方法论导向(Garfinkel，1967)，尤其借鉴了谈话分析(Sackset al.，1974)。常人方法论关注的是日常活动，通过这些日常活动，可实现人们的相互理解与社会秩序。该方法认为，社会事实这一客观现实是由某个社会群体中的成员持续推进的。这里的一个核心概念是成员所使用方法的可解释性这些行为是如何被观察到并报告给其他人的。常人方法论还借鉴了现象学的理念，即强调日常活动中的社会互动(Schutz,1970)。

第10章 人机交互中的具身理论

触手可及被视为海德格尔现象学中所讲的“世间生活”的主要模式。这再次与上述理性主义及认知主义方法形成鲜明对比，后者认为知识是各种客观事实的集合，脱离了其所处的情境。威诺格拉德和弗洛里斯则认为，任何事物都不可能脱离阐释而存在。

147

217

萨奇曼认为，计划是一种象征，而非具体的行为要求。因而，计划既可以作为未来会发生什么事的预测，也可以是对正在发生或过去发生之事的回顾性描述。不过，行为本身却是情境行为，处在与物质环境及社会环境中的偶然性的相互作用中。在这种模型中，计划仅是一种用于指导行为的资源。语言的使用也是有情境特性的，取决于其指示力—与语言使用的不断变化的环境的关系，而不是共用意义的抽象集合。受到常人方法论影响的谈话分析(Sacks et al.，1974)已经表明，同样的表述如何具有了多种不同的情境意义。比如，“太棒了！”既可以是激情的欢呼，也可能是讽刺性的反语，要取决于其使用的情境。

萨奇曼提供了一例实证研究，讲述的是人们设法使用一种带“智能”界面帮助系统的影印机。她用详尽的视频分析，展现了行为计划系统中执行的固定计划与用户的实际情境行为(此类行为的机动性与灵活性都很强)之间的分歧是如何产生的；特别是缺少系统行为的可解释性，以及对用户行为的响应性。

萨奇曼对人机交互做出了非常重要的贡献，她让该领域的许多人了解到常人方法论理念，对认知主义提出了强有力的批判，强调了研究现实情境中各类活动的重要性，因而为计算机支持的协同工作提供了部分智力基础。

保罗·杜里西从威诺格拉德和弗洛里斯、以及萨奇曼的研究中获得了重要启示，发展了具身互动观点，使其成为人机交互的基础概念。下面一节我们将描述这一方法。

作为基础框架的具身互动

杜里西(2001)在上述研究的基础上，提出应该将具身互动作为人机交互的基础概念。他引用并扩展了作为威诺格拉德和弗洛里斯以及萨奇曼研究基础的现象学视角，概述了胡塞尔对现象学中各个理念的介绍，以及海德格尔对作为人类与世界不可分隔性的此在的分析。他还大量借鉴了舒茨(Schutz，1970)对社会现象学的发展。杜里西重点强调了这些研究中的三个共同点。首先，具身——意指“根植于日常的寻常体验”(Dourish，2002：125)—是所有研究的核心；其次，这些研究都关注实践，“为完成实践任务而进行的日常活动”(Dourish，2001:125);最后，这种具身实践是意义之源，“我们认为世界具有意义，主要就是考虑到我们在这个世界的活动方式”(Dourish，2001:125)。

148

数字技术研究(世哲手册)

218

杜里西精心组织了自己的论证，展示了近期在有形计算与社会计算这两个看似完全不同领域的研究如何拥有了一个共同的关注点，即具身；这两个领域都关注对世界的深入参与，而不只是抽象的理论化：“具身互动是指通过与产品的深度交互而实现意义的创造、控制与共享”(Dourish，2001：126)。比如，恩德可夫勒和石井（Underkofflerand Ishii，1999）的城市规划工作台(URP)使用户能够通过控制有形模型来灵活地探索风、反射与阴影效应之间的相互作用，进行不同的配置。杜里西引用了鲍尔斯、巴顿与沙罗克(Bowers，Button andSharrock，1995)的研究，后者描述了打印店工作人员用以管理自己行为的熟练操作如何跳出形式化的程序。忽视实际执行时的情景过程而引入计算机化系统来将理想化程序定型，会对研究产生不利影响。

界定具身互动概念的一个关键问题在于，意义是如何被人们理解，并被投射于世间万物之上的。杜里西主要关注意义的三个不同方面：本体论、主体间性与意向性。本体论讲的是存在的本质：存在如何被构建为不同类型的事物，它们之间的关系如何。具身交互方法的现象学基础强调了本体论如何经由世间有目的的交互而产生，而不是被客观地加以定义。因而，人与人之间会有非常大的差别。所以，如果设计者要将某套本体论承诺嵌入某个软件或其他技术的设计中，就可能给不使用这些软件或技术的用户带来麻烦，这些系统的投放目的可能截然不同于设计者自身所想：“某项设计或许能够反映出设计者的某套本体论承诺，但却无法提供给用户一个本体论”(Dourish，2001:130)。

杜里西讨论的意义的第二个层面是主体间性，研究的是两个或两个以上的人在不了解彼此心理状态的情况下，如何达成共识。杜里西重点讨论了主体间性与技术设计产生关联的两种方式：第一种是设计者如何向用户说明自己对于技术使用的设想(萨奇曼所讲的影印机案例正是在这方面出了问题)；第二种是指系统在多大程度上使不同用户通过它们来发展共同的软件系统使用方式，并给予他们共同的实践模式。

第10章 人机交互中的具身理论

149

219

第三个层面是意向性，即意义的指向性、(某个思想、行为等的)本性是什么。意向性是具身交互的核心特征，因为人们遵照或通过计算表征来对世界施加影响我们历来就是面向世界来行动的，因为正如梅洛-庞蒂的描述，这是我们的栖息地(我们被抛到这里)与意义的主要来源。在具身互动中，意向性的表达是通过耦合过程，“我所说的耦合，是指我们建立与断绝各个实体间的联系，为了将其融入我们的行动而进行合并或者分割”(Dourish，2001：138)。支持具身交互的技术也能清晰地表明它们是如何耦合到世间，使用户能以各种不同的方式对其进行定位。比如，有形界面就可以被视作数字信息的符号表征、用来处理数字信息的控制器，或者凭其自身能够被挑出并与他人共享的物质对象、能够留在桌子上当作对第二天要完成任务的提示，或放置到别人够不着的地方，这取决于其是如何与使用者的当下关注点耦合在一起的。

杜里西关于具身交互的理论描述产生了相当大的影响力，为拓展新的有形的(Hornecker and Buur,2006)、移动的(Oulasvirta et al.，2005)、普遍适用的(Chalmers and Galani,2004)及基于动作(Hummels et al.,2007)的交互形式的研究铺平了道路。杜里西研究的主要贡献在于分析了意义如何在与技术、世界及他人的相互作用中得以流畅地协调。他主要采取的是现象学视角，在威诺格拉德和弗洛里斯、萨奇曼见解的基础上，将具身作为人机交互的基础概念。“具身”概念激发着人们开展了一系列研究，相关研究可追溯至其对早先现象学作家的阅读。其中，梅洛-庞蒂的研究越来越多地得到研究人员的引用，该研究更加强调身体及身体体验。

然而，还有一派研究摒弃了认知主义者思维与互动观念的部分层面，但并未如此明显地参考现象学。下面一节，我们将转而研究这种具身认知方法。

数字技术研究(世哲手册)

220

具身认知

具身认知是指对笛卡尔认知观各个不同层面提出质疑的诸多理论与方法(Clark，1997;Wheeler,2005)。此类研究大量借鉴了现象学对认知主义的批判，但也是对特定技术挑战或经验发现的回应。因而，我们可以说，现象学的影响比之对前一节所描述研究的影响更含蓄(参考Wheeler，2005)。早些时候，就有学者对具身认知进行过研究。特别要指出的是，吉布森运用生态学方法来研究视觉感知，指出感知与行为不可分离(Gibson，1979)，这一观点产生了非常大的影响。吉布森认为可供性是从环境中习得的行为可能，处在机体的物理能力与当前关注点的关系中。唐纳德·诺曼在人机交互研究(1999)中采用了可供性概念，来说明物质产品与图形化产品是如何表明自身的使用方式的(在图形化产品中，可供性是“察觉到的”而非真实的)。

当前人们对于具身认知方法的核心概念意见不一，有些方法完全摒弃了笛卡尔认知科学，另外一些则保留了其中部分内容，比如符号表征、机能主义的部分层面。罗勒(Rohrer,2007)对具身领域的研究文献进行了广泛的调查，描述了对该术语的(至少)12种应用。这些应用包括：在社会文化研究中的应用，用于指称身体所处的环境(Hutchins，1995)；应用于形态学研究，考查认知主体的物理特征如何影响其所能实施的认知过程的类型；该术语还可用来指接地疗法，或者说抽象概念如何与具体的物理体验历史产生联系。拉考夫和约翰逊(1999)认为抽象概念是通过隐喻映射与基础意象图式建立联系—意象图式是指通过与世界的感觉运动交互而形成心理结构，以指导我们的行为。此类隐喻映射保留了原属领域的推理结构。比如，拉考夫和努涅斯(LakoffandNunez,2000)指出，布尔逻辑是感觉运动容器图式的延伸，与人们原来使用现实容器时形成的向内、向外与传递性推理结构(如装在手中盒子里的戒指也是在手中)是一致的。

威尔逊(Wilson,2002)关注的范围更窄，他主要研究了具身认知方面的文献，提出了六项主张：(1)认知是受情境制约的：认知发生在现实环境中，与知觉和行为有着固然联系。(2)认知是有时间限制的:认知需在与动态环境的实时交互中发挥作用。以上两项主张是由布鲁克斯(Brooks,1991)提出的，都是对旨在建立某个环境模型、制订计划而后予以实施的自动体系的批评。他认为，有机体实际上并不具备这种舒适的环境，因为等到它决定好要做什么的时候，世界已经发生了改变。布鲁克斯提议建立一些“将世界作为自身最佳模型”的系统，使用更加简单、响应性更好的结构。(3)我们将认知信息存储于环境:通过控制或操纵外部结构中的信息来缓解认知压力(可参见Kirsh,2010；Scaife and Rogers,1996)(4)环境是认知系统的一部分：内、外部表征间的联系与处理过程是基础性的，应该被视为同样的分析单元。这种观点被称为分布式认知（Hollan et al.，2000;Hutchins，1995）与扩展心智假设（Clark andChalmers，1998)。这也与认知科学中的许多方法有关，这些方法反对通过内部表征进行传统解释(Thelen and Smith,1994;vanGelder，1995)。(5)认知是为了行动：心智的功能是引导行为，所以应该根据对行为的贡献来理解认知。格伦伯格(Glenberg，1997)认为，认知的发展是为了协调与三维世界的相互作用，提升生存体验，并因而获得再生产的成功。按照这种描绘，情境对于有机体的意义在于其是一整套相互协调的可能行为，这套行为是由物质形式、学习历史与目标共同决定的。(6)线下认知是以身体为基础的：即便是在脱离了环境的情况下，为与环境交互而演化形成的机制也能在认知中发挥作用；即便没有任务相关的感知输入，感觉运动系统也处在处理过程中(参见LakoffandJohnson,1999)。

第10章 人机交互中的具身理论

150

221

构成具身认知新途径的理论研究在人机交互中也产生了非常大的影响。哈钦斯(Hutchins，1995)介绍了分布式认知理论，声称经典认知科学认为属于内部的个体信息处理行为实际上是社会文化系统的结果。

人工智能与信息处理心理学未能注意到物理一符号一系统假设的核心意义是抓住了社会文化体系的属性，而非个人的心理属性，提议对模拟人进行激进的概念手术。大脑被移去，用电脑来替代。这个手术非常成功，但也产生了明显的未预料到的副作用：当人脑被电脑取代时，手、眼、耳、鼻、嘴及情感都消失不见了。（Hutchins，1995：363)

151

数字技术研究(世哲手册)

222

将认知视作信息处理过程，这一观念也保留在分布式认知中。然而，有人认为该过程就是通过包括其他人的大脑、物质产品与技术及身体部位在内的各种表征媒介来进行信息扩散。分布式认知已被用来分析信息在各种社会技术体系中的流动，通常是运用民族志研究方法。比如，通过展现电话热线呼叫中的信息流动细节来批判组织记忆概念(Ackerman andHalverson，1998)。

与哈钦斯所描述的分布式认知相关的第二个视角是分析与外部表征的相互作用如何支持认知、改变认知任务的属性、形成思维的内在组成部分(Kirsh,2010;Scaife andRogers,1996)。比如，基尔希和马利奥（Kirsh andMaglio,1994)描绘了电脑游戏“俄罗斯方块”的专业用户如何解决将形状不规则的方块拼凑在一起的问题：他们在屏幕上对方块进行旋转，利用了模式匹配与认知等简单的心理计算过程。他们称这种简化问题解决负担的物理活动为认知行为。

第三个办法试图利用拉考夫和约翰逊对技术设计与评估中的意象图式与具身概念隐喻的研究。意图图式是表征，是从反复出现的感觉运动体验模式中抽象出来的。比如，前一后图式源于世间的运动与人体的结构，因为人的眼睛位于身体的前半部分。具身概念隐喻是意象图式的延伸，用以思考其他更为抽象的实体。比如，我们可以根据上与下来思考好与坏如“渐有起色(字面意思是：事情向上发展)”]，还可以从前后角度来思考时间(如“你的未来在前方”)。近来，人机交互研究的一个趋势是，试图运用从这项研究中得到的见解来设计全新的交互应用，提高界面适用性(Antle et al.，2009a;Hurtienne et al. ,2008)。

技术设计与评估中运用具身认知理论的最后一个案例，显示了身体的物理变化，如采用不同的姿势，在某些情况下可能引起情感、态度及社会感知的变化（Niedenthalet al.，2005)。比安基-贝图泽等人（Bianchi-Berthouzeetal.，2007)做过实验，他们尝试通过提高交互中的身体参与，来提高用户对游戏的参与度。

第10章 人机交互中的具身理论

223

具身互动领域的案例研究

前面几节，我们描述了近来具身交互领域研究的部分理论基础。虽然尚未出现强烈而持续的主题，但我们已经表明为何近来的研究可以说是从现象学或具身认知研究中衍生出来的。本节，我们将更加细致地介绍四个近期的研究案例。我们无意在此全面概述那些试图将具身交互研究中的概念进行应用的研究一事实上，我们并不清楚能否在此阶段提出一个详尽的框架。我们选择了这四个截然不同的研究项目来反映该领域研究的多样性。

费尔曼：支持移动交互中的熟练的亲身参与

费尔曼将具身当作一系列研究项目的引导方法，这些项目成为了他博士论文研究的组成部分(Fällman，2003b)。他的研究主要受到梅洛-庞蒂的影响，也借鉴了现象学领域的其他研究。梅洛-庞蒂的影响明显地反映在费尔曼通过第一人称描述强调了对技术的主体体验。费尔曼采取现象学视角来分析移动技术，集中关注人们对这些技术的体验。他的研究是以设计为导向的：在这里，研究以设计为动力，而设计是创造新知识的手段(Fällman，2003a)。具身理论被用于一系列实际项目的概念设计、为移动服务技术人员设计支援工具、小屏幕上的滑动滚轮以及可穿戴的现实头盔“替代品”。

费尔曼(Fällman,2003b)指出，传统认知主义者的人机交互观点以脱离了肉体的心智为出发点，并非理解或设计移动交互的理想模式。这是因为，移动是“强烈地依赖情境、根植于世界的…”(Fällman，2003b:7)。他分析了自已使用移动设备的主体体验，认为这些设备都具有一个共同特征，即都被嵌入到某个与身体相关的相对较小的物理形式中—可以贴近我们身边、被我们感觉到或者穿戴起来。而且，使用移动设备时，我们的关注点往往是身边的世界(如拍照、查看网络链接、打电话)。由于移动设备的使用与情境密切相关，费尔曼认为，设备与移动性应该被视作“世间生活”的一种模式。人们“通过不同的方式获得了灵活性不只是身体的行动自如—能够融入不同的物理与社会情境中”(Fällman，2003b：157)。因而，移动技术设计不应干扰到这种交融性，最好能支持人们对世界的参与。这也意味着，“桌面”这一界面隐喻并不适用于移动设备，因为桌面往往意味着用户与界面互动时，难以参与到现实世界中。

152

数字技术研究(世哲手册)

224

在这种理论背景的激励下，费尔曼的某个研究项目就旨在支持“熟练应对”为服务技术人员提供的移动支持系统。结果形成的设备可以戴在手臂上，使用户不必动用手指就能进行互动，并且永远处在交互状态，但是在不用的时候则会被人忽视。比如，这种设备的互动主要是通过对准某个破碎构件来获取数据单，因而将工业构件的物理工作直接与设备上的虚拟数据建立了联系。用户倾斜设备让界面旋转或敲击屏幕就可以进行互动。倾斜动作利用的是具身交互(Fishkinet al.，2000)的概念，充分利用了人类对重力有切身体验这一事实(Lakoffand Johnson,1999)。

罗伯逊：(具身)行为的彼此参照性

罗伯逊(Robertson,1997,2002)也将现象学视角应用于计算机支持的协同工作(CSCW)研究中，考察了具身行为在支持人们的觉悟与协作方面的作用。她特别想要表明的是，梅洛-庞蒂的感知现象学提供了一个研究协作的新视角，她强调行为与产品的公开可用性对协作参与者提供了环境支持。对于新技术，如用于远程通信的技术的设计者而言，最重要的一个教训是知觉是习得的随着时间推移，我们能习得技能、适应我们的知觉与身体意象，此时的研究问题就成为：哪些线索与反馈机制能够在此过程中给予我们支持？对亲身认知与知觉的重视，进一步强调了用户的能动性，认为应当给予其行动资源方面的支持。

罗伯逊(1997)分析了具身行为如何支持了协作，她的分析建立在对某个教育类游戏设计公司协作的实地调查基础上，该公司的员工多是居家办公的。这份研究强调了软件的协作设计与开发如何依赖于员工间的交流互动。在公司内的共同物理空间，员工们讨论、制作或使用这里的各类物品，这意味着，“由于能相互感知到彼此的具身行为，员工间的交流得以加强”。当有员工不在现场时，其他员工就依靠业已形成的复杂的工作实践来进行交流。对具身活动的视频分析揭示了几种行为类型。个体行为可能与某些物质对象有关，体现在移动这些物质对象(自己使用或者为了让其他人使用时)、创造新的表征(绘画、写作)、强调该对象或个人使用的某些方面。个体行为还可能与其他身体部位有关，要么通过交流手势、面部表情、谈话等，要么通过扮演用户行为或设计对象本身(这是设计中常有的活动)。还有些行为与工作的物理场所相关，比如闲逛、瞄准对象或改变注视方向。群体行为，如交谈、对某个物体的共同关注、对谈话及共同表征的共享资源的创造(清理桌子，然后在上面画蓝图）、共同使用某个物品等，继而又构成了个体行为。

第10章 人机交互中的具身理论

153

225