数字技术研究

总体来讲，本研究首先指出针对不同学习过程、学习活动与学习结果进行不同设计，以及针对各个学习者群体而进行专门设计的价值，为持续的研究提供基础。

研究方法

由于该研究本身涉及诸多学科领域，比如计算机科学、教育与设计等，因而在研究中往往也不是采用单一的研究方法，而是综合了多种动因来巩固其研究。虽然本章主要关注的是社会科学的各个视角(心理学、教育学、设计），但还是首先强调了有形交互研究的跨学科属性。文章继而概述了支撑这些研究的常见核心理论与概念方法，讨论了以技术为驱动的研究方法及不以技术为驱动的方法。

跨学科研究

有形交互研究往往从不同的学科视角与理论基础出发，如计算机科学，其核心关注点是新的计算技巧与技术的发展；设计，其核心是理解设计过程与设计活动；心理学考察的通常是与认知相关的交互层面(如感知、行为、推理、社交)；教育学的研究兴趣在于新技术如何为学习的不同方面(过程或结果)提供支持。这些学科间，或子学科间的相互作用的重要性，导致产生了大量的跨学科研究，这些研究与人机交互相关联，属于人机交互的大类之下；人机交互群体聚集了来自这些学科并且相互协作的专业人士。

总体来讲，学科交叉是有形界面研究的核心特征，但对于某些特定群体，比如就教育来讲，还需要有主导专家，比如教师或教育者。由于有形技术往往不是“现成的”，需要进行新的设计与开发。这意味着，计算机科学在推动技术应用(既包括当前有哪些可能，也要研究如何开发出符合人们心意的设备)方面扮演着重要角色；心理学家与教育理论家的重要性在于使设计能有效地支持学习；设计者的核心功能是设计并开发出与有形产品相关的数字媒介；主导专家负责指导让有形技术成为学习领域或教育群体中的有效工具。因而，这些跨学科团队旨在实现一些单靠某个学科所无法完成的研究，并共同协作赋予其文化内涵；也就是说，采取更广阔、更现实的视角。

312

数字技术研究(世哲手册)

466

此类研究的跨学科属性既有创造性，又面临挑战。将各组研究人员聚合在一起，需要整合不同的研究视角，建立共同基础，尤其是要有共同理解(如术语、视角），符合研究方案或方向。不过，共同视角带来了更广阔的理念，通常能推动并扩展研究与开发的边界。

理论方法

学习与认知理论给出了令人信服的论据，佐证了有形交互在支持学习方面的价值(O'Malley andStanton Fraser,2004)，这些论据与结构主义理论概念相一致，包括亲身参与(Tobin,1990)、学习体验理论与发现理论(Bruner，1973）、模式建构（Papert,1980;Resnick et al.，1996）、协同活动、转型传播(Cohen，1994；Pea，1994；Webband Palinscar，1996）及交互的具体形式(Antle，2009)。研究越来越多地借助于有关具身的理论观念—这一术语受到过不少争论，泛指身体与心智间的关系，感知与行为等身体交互过程，如何帮助、促进或制约了社会文化发展。多个研究项目利用了这些理论概念，但着眼于学习活动的不同层面，比如：叙事建构（AnnanyandCassell,2001)、探索与建构(Raffle et al.,2006)、现象模型(Moher et al.,2005;Price et al,2009)、基于模式的交互(Yonemoto et al.,2006)、协作(Farr and Yuill,2010)与隐喻概念(Antle et al. ,2011)。

概念研究

还有一些对研究产生了影响的方法是通过开发一些框架来完成的，这些框架可能以描述性分类、研究指南或分析视角为着眼点(也可参见：Mazalekand

313

第20章 有形界面:技术与学习交互

467

Hoven,2009)。早期框架提供了描述性分类，确定了不同系统的技术配置，但对于不同设计在交互方面的相对优、缺点则言之甚少(Ullmer and Ishii,2001；Koleva et al.,2003;Fishkin,2004)。近来的一些框架主要着眼于人的相互作用，以及设计与交互体验间的关系。比如，霍内克尔和伯尔(Hornecker and Burr，2006)提出的框架包含了设计、交互与身体运动的分析方法，强调指出需要设计各种物理工具，并且构思工具间的相互联系及其数字表征。

还有一些框架令设计贯穿于系统之中，比如，安特尔(Antle,2007)借鉴了认知心理学的相关研究，指出设计者应该考虑到有形系统的五个属性，主要涉及物理一数字映射，即认知映射[系统的物理与数字层面的感知(往往是表象）属性间的映射]、行为映射(系统的物理与数字层面的输入行为与输出效应间的映射)与语义映射(系统的物理与数字层面所承载的信息间的映射)；也明确了设计的“行为空间”(通过物理行为进行控制的空间)及“好友空间”(系统如何支持协作）。

文章还提出了一些框架，明确指出实证研究方法对于学习的重要性(Marshall,2007;Price et al,2008)。马歇尔(2007)提出的分析框架包含了旨在指导有形界面实证研究与开发的六个视角。他回顾了有关这几个视角的研究文献，主要讨论了与学习相关的有形系统的各种属性或维度，包括：学习活动、学习领域、学习优势、表征整合、具体性与感觉指向性、物质性效应。普赖斯(Priceetal.,2008)提出的框架专门研究了有形系统中的产品一行为一表征关系，旨在对有形环境的表征属性进行实证研究。该框架有四个主要参数：位置、动态、关联与模态(下面的“案例研究”中会有详细说明)。

如上框架为研究设计与构思提供了某种结构，为分析研究提供了视角，可与学习、认知与交互的其他理论方法结合使用。

技术驱动的研究、非技术驱动的研究

部分学者在研究有形技术支持的学习时采取了技术驱动视角，而另一些研究的出发点则是非技术视角。在未知(或新奇的)技术的使用体验尚未得到探讨时，技术驱动型或“技术启发型”(Rogerset al.,2002)方法号称是有效的，“推动研究的创造性体验往往是意外发现与创造能力的综合结果”(Rogersetal.，2002:373)。与之形成对比的是，采取“非技术”方法的研究同样是能增进知识的。比如，曼彻斯和奥马利(Manches andO'Malley，2012)调查了物理操作对儿童推理能力的影响，这些推理有助于丰富有形交互等新奇交互形式的设计与评价。

数字技术研究(世哲手册)

468

然而，多数研究是将这两种方法中的各个元素整合起来，并结合我们对学习与认知的理解以及当前的教育实践，来思考技术机遇。尽管这些方法可能有助于指导研究，但该领域的多数研究还是解释性的，或依赖于情境的，也就是说，不是系统性的。虽然在深刻认识有形交互方面成果丰富，尤其是确定了未来研究的重要领域，但仍然需要进行系统性研究与重点研究。

案例研究

这一部分，我们将用几个案例来说明如何研究“有形技术”，指出用于这些研究问题的技术的特征，概述研究的途径、方法与结果。

研究动机：表征框架

推动物理的、亲身实践的交互形式，并建立数字表征与物理对象间灵活关联的有形技术，让我们有机会以新的方式应对不可见的科学现象。虽然这可能意味着提供了学习优势，但其对于学习的具体优势与局限性还有待论证。该领域的研究非常复杂，不仅是因为需要考虑的变量非常多(如亲身实践的学习交互、物理一数字结合、表征设计)，而且显然需要更多结构性研究。为了解决这一问题，人们提出了一种着眼于有形环境某一独特属性的研究框架，如此便能够在产品与数字表征间建立灵活关联，预示着更强的表征力。这种耦合的灵活性促使联结表征、对象或环境与行动间的参数呈现出指数级增长趋势。因而，这里所提议的研究框架主要关注的是不同产品一表征组合间的关系，以及其在影响认知中发挥的作用。

该框架(Price etal.,2008)有四个主要参数，指明了交互式学习领域实证研究的不同维度。

14

第20章 有形界面:技术与学习交互

469

(1)位置。位置指的是能触发效应的物体或行为相关的数字表征的不同空间位置。比如，在“离散型”设计中，输入与输出被分开放置，即某个被操纵的物体激发了相邻但独立的屏幕上的数字表征（如Chromarium使用一个相邻的电子显示器，将颜色混合效果显示在一些嵌入了RFID技术的立方体上；Gabrielli etal.，2001)；在“共同位置”的设计中，输入与输出是相邻的，也就是说，数字效应直接毗邻产品(如城市规划环境模型URP将建筑结构的影子与风力模式呈现在环绕四周的水平台面上；Underkoffler and Ishii,1999)；“嵌入式”设计将数字效应包含在某个物体中(如“流量块”是嵌入了感应器的积木，将这些积木连接在一起后，就能够发出光信号，帮助儿童探索不同的因果结构;Zuckerman et al.,2006)。

(2)动态性。动态性涉及交互过程中的信息流动。比如，数字效应或反馈可以是即时的，也可以是延时的；可能取决于多个物体或需要激发的交互行为。因而产生的因果关系可能是相当复杂的，需要更好地理解信息流动对认知的影响。

(3)关联性。关联性是指产品表征属性与施加于这些产品上的行为间的隐喻。“物理关联”是指物体的物理属性与学习概念的关联程度，重点在于与学习领域隐喻的关联程度。“符号关联”定义的是作为共同指示物的物体比如，用于代表各类实体的积木在这种情况下，物体可能含有其所代表的实体的少数几个特征，也可能完全没有。比如，积木可以代表一本书或者抽象实体，如染色体或电路元件。“文字关联”是指一些物体的物理属性与其所代表的范畴的隐喻间有紧密的联系。比如，代表染色体的刚硬的积木揭示了基因改变过程中并不存在脆弱性或分离；而松散连接的“条板”可传递出该学习概念本质上的“脆弱”特性。

(4)表征关联。该特征包含了对表征本身的设计考虑，以及其如何对应于使用情境或专业领域中的产品与行为。物理与数字表征间的意义映射可以根据符号与符号代表物间不同的关联程度(清晰的或含糊的)来设计，按照其呈现的概念或人们实际渴望的交互/反应。比如，研究表明，声音与环境间的含糊映射与清晰映射所产生的情境意义是不同的（Randell etal.，2004)。

(5)模态。表征的模态影响了整个交互的各个方面，可以说是与其他类别相并列的。虽然视觉模态往往是表征的主要形式，但有形计算中的听觉与触觉模式要求我们对其在学习中的作用有更广泛的理解。

数字技术研究(世哲手册)

315

470

虽然框架方法提供了构成研究的基础以及分析不同设计参数的可能性，但仍然存在许多局限。该方法要求通过大量不同的研究来全面理解使用有形技术进行的学习，并特别指明了需设计与开发促进此类细致调查的有形环境。而且，系统性的归纳研究法与现场调查研究间的比较等问题也被提了出来。

研究的情境

本例以科学学习为背景，研究的是为适合英国科学课程而设计的学习体验。确切地讲，研究人员设计了一个有形环境来探究有形技术在支持光行为的学习，尤其是光的反射、传输、吸收与折射等基本概念中的作用，并推导出颜色概念。这些现象是无形的，(除了实物演示外)难以在教室里展示出来，且利用了物体的物理属性。这里特别有意思的是，首先，对作为科学理念核心的物体的物理属性以及其与数字表征间的联系的理解，可能影响到人们对该物体的解释。比如，绿色反射绿色，红色反射红色；粗糙的物体反射的是发散光，而光滑的物体则不是。其次，我们想要分析表征位置在交互与认知中的不同效应；第三，我们想要探讨亲身体验在影响行为、助益科学理解中的作用。

环 境

人们开发了一个专门建造的有形桌面环境。该系统包含一张桌子，表面覆盖着磨砂玻璃，下面有红外线LED灯来照明。这使得桌子下面的红外线照相机得以跟踪放置于桌子表面的物体，使用reacTIVision软件可以进行物体识别(Kaltenbrunner and Bencina,2007)。为了让照相机追踪物体，每个物体都被贴上一个名为“基准”的纸质标签。这样，每个物体都有单独的身份，并且有其位置与方向。当系统识别出不同的物体时，就会向桌面投射出不同的数字效应（参见Sheridan et al.，2009了解更多技术细节），具体见图20.4。

这些数字效应旨在例证光的行为。因而，手电筒充当了光源(放置在桌面时，会呈现出数字白光束），放置在光束中的物体，根据自身的物理属性(形状、物质与颜色)反射、折射并/或吸收了数字光束。比如，将手电筒对准绿色积木，就会反射出绿色光束(见图20.5)。

第20章 有形界面:技术与学习交互

471

316

数字技术研究(世哲手册)

472

放在桌面的手电筒“一直开着”，而其他物体只有被放置到数字光束的路径上时才会产生数字效应。当有人直接控制这些物体时从桌子上拿走，或者改变其在桌上的位置一数字效应就会改变，导致光束被阻断或改变线路。

方案设计

针对特定目的系统来设计方案是研究中碰到的另一个挑战。使用真实物体的环境以物理性为基础，需要从设计方面进行考虑，尤其是现实层级(即物体)与原理图(数字表征)相结合时。有人提出，每个概念(反射、折射与吸收)起初的学习阶段是各不相同的。然而，当被探讨的各个科学概念产生相互联系时，排定先后次序会消除各个现象间重要的整体连贯性。另外，除了引导儿童解决明确的任务外，应用的一个目标是鼓励自由的集体探索，推动发现性学习。通过对不同类型物体与手电筒的实验，儿童有机会探讨光与不同物体组合间的互动，知道有关光的不同现象。系统元素旨在鼓励儿童对光的行为进行推理和思考；期望通过这种交互，让儿童就学习主题进行对话，通过他们从与界面交互中得出的概念性结论而获得集体知识。

在有形环境中学习光时使用到的数字表征的设计与选择也是复杂的，要考虑到技术局限性。对教师的非正式访谈，对儿童与成人进行不同设计的先验测试，以及来自专家及不同学科背景的专业意见，都能为设计提供思路。这里所讲的选择包括：在显示为白色光束或彩色光束的物体内部或旁边展示被吸收的颜色，并通过涟漪、箭头或直线来代表反射。

研究设计

研究设计面对的难点有很多。首先，需要设计一个恰当的任务。此处我们选择了一项探索性任务，来研究一般层面上的互动—通过儿童的互动来观察他们的直觉行为与直觉推断。还有些研究选择了界限清楚的任务来研究特定的学习概念或特定的物理交互形式。

其次，需要考虑研究的场所比如，在实验室进行研究还是在现场调查。本研究中，基于实验室进行研究是唯一现实的选择，因为把桌子搬到学校或博物馆里是不现实的。这又带来了另外的挑战，即如何将几组学生聚集到

第20章 有形界面:技术与学习交互

317

473

为了完成本次研究，我们从英国两所学校中挑选了21名年龄在11至12岁的七年级儿童(11名女孩、10名男孩)及22名年龄在13至14岁的九年级儿童(10名女孩、12名男孩)来参加。这些儿童3人一组使用有形技术支持的书桌，由老师根据儿童协同工作的情况进行挑选。研究着眼于比较某个“离散型”表征设计与“同地协作”设计中的交互与解释(见图20.6)。

每个环节持续35～45分钟。研究人员要求儿童自由摸索该界面(移动桌面上的物体)来了解光的行为。交互过程中，一名研究人员通过询问“这里发生了什么？”“你觉得这是怎么发生的？”等普通问题来引导学生们理解这些概念，进行推断，得出结论。所有进程都被摄像机记录下来。使用完有形技术系统后，学生们再在自己对光行为关键概念、系统的整体反馈及自己的体验等理解的基础上通过分组问答来获取知识。

分析方法

研究采用主题分析方法来处理所有的视频数据、与框架各个层面及不同研究相关的特定主题。为了开发基于主题的编码方案， $\scriptstyle { \frac { \vec { \pi } \vec { \operatorname { R } } } { \mathrm { H I } } }$ 要研究人员进行小组分析或配对分析。此处的难点在于如何选择视频焦点，桌面模拟演练提供的是操作与亲身体验的细节，还是更全面的“整体”交互视角？在本例中，我们分析了桌面模拟演练中的交互以及语言交互等数据，保证了对表征框架中关键方面的分析。与之形成对比的是，近来考察交互“具体化”形式的研究则对交互采取了多视频数据视角，以了解目光注视、身体姿势及操作数据等各个方面。

数字技术研究(世哲手册)

318

实验室，因为这关乎分析诠释，尤其是在研究着眼于学习成果或教师交互的情况下。不过由于这些研究的着眼点是分析表征设计及相关的交互与解释的各个方面，因而只需要基于实验室的环境就足够了。

474

结果概述

这些研究共同促成了大批重要的研究成果，这些成果又被反馈至研究框架中，为设计提供了基础，也指明了未来的重要研究方向。

表征场所(离散协作vs.同地协作)

研究结果表明，两种位置模式中的交互差异性对于学习具有某些重要的含义。首先，这两种模式有不同的关注需求。在离散模式中，学习者倾向于盯着屏幕；同基于鼠标的交互方式相似，利用某些对象作为输入设备，在独立的屏幕上观看自己的行为所产生的效应。在这种情况下，协作的重点是屏幕。另一方面，如果学习者的注意力集中于桌面，盯着桌面查看系统的反馈，就能留意到彼此的行为。这使得学习者有机会表达自己对对方行为与活动的观点，改变了协作的性质：明确注意到其他人的手部动作，能够推动学习者去探究，增加建构与解释方面的协作形式。而盯着独立屏幕时，用户更可能因看不到彼此动作而独自工作。

其次，同地协作方法还可以培养更快的动态交互，使人们获得更多的科学现象解释案例，提升探索活动。另一方面，离散模式中较慢的交互使得用户有了更多的思考“时间”。由此又产生了不同思考形式在行动中思考、对行动进行反思对于使用同地协作共享界面进行学习的价值与实现问题；强调了需要专门设计学习活动，减缓交互速度，提升用户在学习任务过程中每个“沉着”时期的思考机会。整体而言，这些基于先前研究的发现(Sensetable:Patten et al.，2001)表明，用户偏好呈现在传感器界面的信息，而非呈现在独立屏幕上的内容，避免将自己的注意力分散在输入(传感器界面)与输出(独立显示屏)上，用实例证明了这些不同设计的交互效应与认知效应。

第20章 有形界面:技术与学习交互

475