数字技术研究

意义功能

如上所述，多模态以功能性的意义理论为基础，这种理论认为，意义是一种通过人们的情境化模式选择，以及将这些资源结合并组织到多模态集成中的方式来实现的社会行为。多模态划分了三种既有差别又相互关联的意义选择类型(也称作元功能)，人们在交流时会自动做出选择。

(1)与人们实现内容意义的方式相关的选择(即概念意义)。也就是说，人们选择哪些资源来表征世界及其在世界的体验，比如，对过程、关系、事件、参与者及环境的描述。

(2)与人们详细阐述人际关系意义相关的选择。也就是说，人们选择哪些资源来代表他们与交流对象之间的社会关系—要么通过直接交流，要么通过文本或器物来交流。比如，人们将元素通过视觉或空间描述为远处或近处、清晰或模糊的对象，向观众或交谈者展示某样物品。

(3)关乎文本或组织意义的选择。比如，为实现某个文本或交互的连贯性、构成与结构，而对空间、布局、速度与韵律等资源的选择。

多模态将这些意义功能应用于所有模式，以更好地理解其意义潜势特定的符号资源有“什么意义”或“什么用途”并且探讨这三类相互关联的意义潜势如何通过不同模式系统的语法与要素来实现。

256

数字技术研究(世哲手册)

386

要特别注意的是，本节所罗列的几个概念可用于任何类型的表征或交互——无论是印刷出来的文字还是数字文本(Jewitt，2002)，有无配备技术设备的教室(Jewitt et al.,2011)，或以数字为中介的复杂交互环境，比如外科手术室(Bezemer etal.，2011)。因而，研究人员可以利用多模态来研究某个资源(如移动应用、有形环境)的模式意义潜势，以及人们如何在交互中利用这些资源。

数字技术研究的多模态潜势

本节主要介绍数字技术研究中的多模态的范畴与潜在应用，即截至目前多模态的使用情况如何、可用于解决哪些问题、有哪些贯穿于技术设计与使用评估中的研究启示。本节将讨论多模态研究的下列四项潜能：

(1)对各种模式及其符号资源的系统描述。

(2)对特定数字环境的演绎与互动进行多模态调查。

(3)识别并开发新的数字符号资源，探讨现有资源在数字环境中的新使用。

(4)提供的研究方法可用以对社会研究中的数字数据与环境信息进行收集与分析。

对模式及其符号资源的系统描述

人们在特定情境中使用技术时，可以使用多模态方法来创建所有可用的意义潜势目录。这可以通过对模式及其符号资源、物质性与模式可供性以及对某设备及/或应用的组织原则的系统描述来实现。部分多模态研究人员在“意义即选择”及元功能概念的基础上，使用一种被称作系统网络的实证方式来描绘某种模式的意义潜势。这是某个符号或词汇语法系统中可能存在的系统符号选择的粗略分类。此举勾勒出了模式资源详细阐述某个产品或交互的内容、人际与情境或组织意义的潜能。这些选项最好是某个类型选择。比如，就像克雷斯和范列文(Kress and van Leeuwen,2006)所言，视觉图像要么是“信息需求”(某种视觉问题)，要么是“信息供应”(某种陈述)不可能两者皆有。而“信息需求”要么是“两个极端”(“是”或“否”)，要么是开放问题。在分析语言之外的其他模式时，可以将部分符号联系描述为某个连续区的刻度—比如，颜色的符号层面被勾勒为一套涉及色彩、亮度、光度等的连续刻度(Kress and vanLeeuwen,2002)。系统网络提供了一种分析工具，用以勾勒符号资源范围及既定情境下某个模式的可用选项。7就这样，系统网络将对模式(或符号资源)的正式分析推向了一个逻辑极端。

第17章 研究数字技术的多模态方法

387

截至目前，系统网络一直被用来描述各种模式中可用的符号选择，包括语言(Halliday and Matthiessen,2004)、视觉传播与颜色(Kress andvan Leeuwen,2002,2006)、行为(Martinec,2000)、声音、语音及音乐(vanLeeuwen，1999)，以及三维对象(如桌子;Bjorkvall,2009)。网络被用于探讨多模态类型与多模态集成，包括在线报纸(Knox,2007;Caple and Knox,2012)、电影与媒体文本(Bateman，2008)及交互媒体文本(White,2012)。

在数字文本、有介质的交互与环境中，多模态目录对于理解不同技术施于表征、沟通与交互的意义建构潜能与局限，以及这些技术的使用者如何关注并以不同的方式来接受这些资源都是有帮助的。这既有助于技术产品与环境的重新设计，也有利于学习工作等实践方法的引入。

对特定数字环境中交互的多模态研究

多模态研究人员也运用系统网络来关注模式资源在特定情境中是如何得到接收与使用的。他们勾勒并比较了人们在特定情境中对模式与符号资源的选择，有些研究人员还分析了这些模式选择如何受到物质性与模式可供性、研究主体的知识与经验的影响。某些多模态研究人员，尤其是那些将意义建构当作一种过程，因而不太关注模式本身资源的绘制的研究者，将系统网络当作一种更松散的探讨意义的试探性工具。多模态研究调查了这些资源如何被用于特定情境中，人们如何对其进行讨论、辩护与批评，以理解符号资源如何被用以详细阐述多种情境与媒介，比如学校、工作场所、在线环境、课本及广告中的话语。

数字技术研究(世哲手册)

257

388

当前数字情境对于身体与空间性的引入，明显地体现在新兴的以身体交互为基础的技术中(Price etal.，2009)。课堂作为一种多模态学习环境，已经获得了相当多的研究；研究表明，学习者的位置、姿势、手势及目光被认为在学校的英语与科学教学中起到了关键作用(如Kresset al.,2001,2005)。多模态关注相互作用中的身体模式与空间特征其符号资源与可供性，这种关注为数字技术研究提供了潜能。比如，有了数字感应反馈，即腕表、背带、虚拟化身及屏幕，Wii游戏能够重构玩家物理形态的身体(因而也有社会关系)间的关系，以有趣的方式建立物理数字映射，说明该如何开展协作与“共同游戏”。多模态提供了一套描绘与探询此类重新映射的资源比如，实现“物理”与“虚拟”身体间的互动。对物质的这种数字重新映射与扩展在各种以数字为中介的情境中是至关重要的。屏幕与数字技术如何重新调整身体的作用，这一问题也关乎对在线多模态交互的理解。琼斯在分析人们如何构建并消费自我在社交网络环境中的多模态显示时，分析了“用以生产与消费显示的不同数字技术如何影响到这些网站用户间的可能关系，以及这些显示允许他们采取的社会行为类型”(Jones,2009:82)。对模式、符号资源、物质性与模式可供性的关注提供了一种描述语言，用以分析这些复杂网站上的交互。比如，对外科手术室的多模态研究表明：给旧的既定社会环境加载数字技术，会对交互产生影响(Bezemer et al.,2011)。同Wii类似，在以屏幕为基础的数字环境中从事重要手术工作的外科医生，重新调整他们的目光、身体姿势、团队配置，要求大家参与到物理一数字映射中来。多模态研究关注的还有：此处讨论的这些物理一数字混合应用工具能否产生新的交互形式，推动新的行为，改变物理、知觉与身体等方面的体验。

多模态还被应用于各种多模态数字类型，以探讨数字意识与素养问题，尤其是在教育领域(Alvermann,2002;Jewitt andKress,2003;Marsh,2006)。多模态也被用于分析音乐编曲、视频制作中的电影拍摄与特写编辑、数字动画与游戏(Walton,2004;Burn,2009)、在线环境(Jones,2009)及更近期的与移动技术及地理信息系统技术的交互(Hollett and Leander,this volume)。

多模态文本与交互中各个模式之间或多个模式间的关系是多模态研究的核心领域，多模态研究探讨的往往是既定情境与某个文本或情景交互中的模式配置间的关系，既是为更好地理解使用中的模式资源，也是为解决实质性问题。文本或组织元功能历来是此项研究的重点，比如，对多模态结合（vanLeeuwen,2005)的理解，是经由节律、构成、信息关联与模型密度或强度等(Norris,2004)，通过整合多模态文本与通信活动中的不同符号资源来实现(或实现不了)的。

第17章 研究数字技术的多模态方法

258

389

本节还分析了当前数字文本是如何通过文本特征，如数字分层、超链接等，而组织起来的，以及其如何影响了人们对多模态数字文本的定位(Lemke，2002；Zammit，2007)。这项研究也有助于理解计划资源的占用问题（如Jewitt,2008)。大量多模态研究探讨的是图像与语言间的动态的相互作用，包括克雷斯与范列文(Kressand vanLeeuwen，2006)早期对意义的视觉表示的研究、莱姆基(1998)对科学课本中的图像与书面文字作用的研究、马蒂内克和萨尔韦(Martinec andSalway，2005)对巴尔泰斯提出的图像一文字关系分类学的重新思考，以及贝泽莫和克雷斯(BezemerandKress,2008)针对学校课本提出的图像、文字、排版、颜色与布局的分析框架。比如，克雷斯和贝泽莫以多模态文本为关注点，对20世纪30年代至21世纪头十年里科学、数学及英文课本中的学习资源进行不同的多模态集成，包括以数字形式表现的及在线的学习资源，调查了学生们的学习得失。他们对学习资源的设计及其在认识论与社会/教育学中的重要性的变革进行了多模态描述。他们得出的结论说明，图像与布局越来越融入内容与颜色的结构中，因而布局与排版已渐渐被视为通信模式。朱伊特以多模态交互为着眼点，在《技术、素养与学习》(Technolog,Literacy and Learning,2008)一书中探讨了各类模式资源(包括颜色、图像、声音、动作与手势、目光）、数字技术、知识、素养与学习间的基本联系。她在该书及其他作品中，展示了教师和学生使用的技术推动的模式资源如何重塑了他们的阅读、书写等实践，以及师生如何在科学及英文课堂上互动，她还探讨了这些变化对学习的影响。这些研究表明了数字技术如何延伸、突出，有时甚至是重塑了模式、符号资源及其在当今物质性与模式可供性中的配置以及多模态集成中可能存在的跨符号联系。

新数字符号资源的识别与开发，以及现有资源的新使用

除了创建模式与符号资源的目录，并分析这些模式与资源如何被用于各种特定情境中之外，多模态还有助于发现并开发新的符号资源以及利用现有符号资源的新方式。

数字技术研究(世哲手册)

390

研究某既定符号资源的符号潜能，就是研究这个资源曾经怎样用于通信目的、现在的使用情况如何、还能够如何进行使用；既是勾勒过去与现在的目录，也是为了未来的资源与使用。如此，这个目录永远不可能完成，因为其往往是为特定目的而制定的(vanLeeuwen,2005:17)。

对新模式资源的发现与发展往往与社会变革有关，随着通信状况的改变，社会对新符号资源以及使用现有符号资源的新方式提出了要求。该领域的两个核心要素是：数字技术的潜能、全球化社会对符号资源的使用。比如，数字合成器等数字技术重新塑造了“人类”语音的潜能，以创造新的符号资源与使用“人类”语音的情境数字产品、公开声明、音乐等(vanLeeuwen，2005)。对语音的数字重塑继而又影响了声音的非数字使用—比如，对非数字声音的音调与韵律的使用，这是以前未曾想到过的。基于印刷的文本中普遍的模式符号资源，如文本链接、分层、布局及时间组织，也由数字技术对其进行了格外强调与重新配置。比如，诺克斯(Knox，2007)探讨了在线报纸如何重塑了报纸的布局、式样及图像、文字与视频的关联，并将这种影响从在线报纸“反向”映射到印刷报纸以及阅读途径(Knox,2007;Caple andKnox,2012)上。阿达米(Adami,2009)分析了社交网站YouTube上多模态的结合模式与话轮转换。多模态工具也有可能识别并描绘空间、时间、数字技术(如移动技术与全球定位系统)实现的具身行为间的重新配置，并有望解决这些技术如何影响人们的互动与体验等问题。

多模态不只关注“技术能够做什么”这样的直觉观念，而且对数字技术如何作用于符号资源、能做到什么、做不到什么等进行了细致的分析。多模态研究使得我们对通信方式有了清晰的认识，因而使我们能够对这些方式进行讨论、教学与评估。多模态还有助于我们设计符号创新使用的新方式并予以实施。

对研究方法的贡献

要理解数字环境中的人们如何交流与互动，研究人员越来越需要查看语言之外的因素。这就对数字文本与环境的研究方法提出了新要求，需要对传统的概念与分析方法进行重新思考。多模态极大地促进了现有的研究方法，尤其是社会研究中的数据与环境信息的收集与分析。多模态提供了视觉数字数据类型的收集与分析手段，包括屏幕捕捉数据与视线跟踪数据(Holsanova,2012)以及研究人员创造的及自然生成的数字视频数据(Kress et al.,2001,2005;Norris,2004;BezemerandJewitt,2010)。数字视频技术的运用及对多模态的关注向社会研究发起了重要挑战，即如何对多模态数据进行转录或再现(如时空运动)。转录已日益成为多模态方法中的创新与实验对象，其覆盖范围非常广，从视频镜头中的素描与静态画面，到Comic Life 与Transana等软件的应用(如 Baldry andTibault,2005;Plowman and Stephen,2008;Flewitt et al. ,2009;Bezemer andMavers，2011)。如上所述，多模态提供了一些描绘与分析工具，可用于研究数字技术交互中的视觉、具身及空间特征以及对音乐、电影、数字动画、游戏、广告及其他新媒体进行分析(Knox,2007;Burn,2009;Jones,2009;Adami,2009;Caple and Knox,2012)。

第17章 研究数字技术的多模态方法

391

概述完了多模态方法对于一般意义上的数字技术研究的范畴与潜能后，下面一节将举例说明其应用。

案例研究

下面这个小案例讲的是对数字程序游戏环境中的数学概念的学习，以两名(7岁)学生的互动为例，使用的是面向对象的编程工具Playground(JewittandAdamson,2003)。下面的摘录关注这两名学生突然冒出的“弹跳”概念如何受到了他们对可用模式资源的选择和使用的影响(完整案例研究请见朱伊特于2008年所做的研究）。

在学生原本使用纸和笔的设计中，这个游戏讲的是一个正在被外星人使用炸弹追逐的小动物。游戏角色(动物与外星人)的动作与子弹的跳跃，通过某些模式与静态图像、笔迹及卡通一视觉类别中的符号资源(如用延时笔迹与波浪线来代表爆炸时的振动与声音)就可以实现。

用Playground来编写游戏为学生们的设计提供了额外的模式与符号资源，尤其是现成的视觉元素与背景、颜色、动作、声音，消除了书写模式。对作为一个产品的学生游戏及产品创造过程中的视频数据的细节分析，表明这些模式资源需要学生具有不同类型的表征承诺、设计决策与思考。从纸张向屏幕的转移，代表了理念、人际及文本意义的变化轨迹，导致这个小动物面对的危险增加；现在，这个小动物将会被杀害，而不只是被抓住，这反映了学生对于类别可供性(社会规则与期待)的理解发生了转移，从广义上的游戏，转为屏幕上的冒险或动作游戏。学生对该游戏的多模态框架的数字重设，重新定义了游戏叙述，以及思考元素动作的必要性。此外，他们需要特别说明游戏中各元素间的空间与动态联系。

数字技术研究(世哲手册)

260

392

在学生们对该游戏的书面描述中，跳跃一词代表着“炸弹沿箭头前进，如果(炸弹)碰到障碍，就转向其他方向”。也就是说，跳跃表现为一种运动，碰到某些物品时其方向会发生改变。书写作为一种模式，其符号资源与可供性并不会要求学生确切地指出这个动作改变的“原因”玩家、炸弹或障碍。

Playground这一数字环境代表了三种模式中的跳跃概念，每种模式都为

学生构筑“弹跳”实体提供了不同的符号资源。图17.1反映的是“弹跳”程序。该程序运用了书写模式“弹跳”这个词语——来对日常所说的动作进行命名与分类。程序还使用了静态图像模式—两张弹簧图和一张球的图像—来说明弹跳的可能方向，表明弹跳是一种机械的、规则有序的行为，而不是有机的、无法预测的弹跳(就像兔子那样）。第

三，程序还使用了动画运动—三个重复的动画次序，一个是弹簧在两个挡板之间上下跳跃，另一个是弹簧在两个挡板间的横向运动，还有一个是小球在正方形区域内几个角之间的运动。这个动画次序使得在Playground程序中的“弹跳”实体具有了意义。

第17章 研究数字技术的多模态方法

261

393

这些模式资源共同构成了多模态集成，与该系统数学范式中的“弹跳”(理念)意义相关。将运动作为一种设计资源引入的做法，向从事设计的学生提出了一个关键问题，即“造成弹跳的因素是什么？”以及“弹跳着的东西是什么？”。

起初，从事游戏设计的学生（见图17.2)将木棍编写进弹跳程序(即给木棍加上弹跳行为），将其置于游戏中，继而开始游戏。这些木棍被弹回来。正是玩游戏的视觉体验让学生们意识到他们的错误，找到更正的办法。

通过对Playground环境的参与，学生们发现了能动性方面的含糊不清，也就是在书面设计中被含糊带过的书写与静态图像的可供性。

学生们将目光注视与手势作为解决

这些问题及编制游戏中弹跳过程的一种资源。这些学生通过注视或用动作向屏幕本身示意，以及与屏幕上呈现的各种元素进行互动与组织，创造了不同类型的空间。这些空间标志着学生们参与的不同类型活动间的区别。在创造并使用这些空间的过程中，学生们设置了介于游戏规划、游戏设计与建造、游戏玩耍间的韵律与区别。学生们在屏幕“上”做出某种手势而生成某个游戏计划，这个“想象空间”覆盖了他们通过手势放置元素并想象其动作的屏幕，并使用手势与目光注视将想象(理想化的)游戏与执行程序的应用资源连接起来。作为模式的手势与目光注视的暂时性特征，使其游戏计划仍然是灵活的、模糊不清的。

手势对于弹跳行为演变程序的核心作用，体现在三个方面。

262

数字技术研究(世哲手册)

(1)手势使人们得以理解学生们是如何思考“弹跳”概念的。起初，两名学生的讲话与手势是极其协调的，表明他们对于子弹如何移动有着共同的想象(从外星人到左侧的木棍，再到右上角的木棍)。然而，当学生们停止一致行动后，便出现了两种不同的子弹运动轨迹（见图17.3）。学生1描绘的子弹以垂直方向移动到右下角的木棍处。接着，她再以水平线将其移动到动物的位置，扭动钢笔表明就在该区域的某个位置。她将实体的“弹跳”当作一般的运动概念，就像从一个地方到达另一个地方。学生2将实体“弹

394

跳”视作一种更专门化的运动。她认为子弹不会以某个垂直的线路从右上移动到右下的木棍处(像学生1所表示的）。她将手指放在右上角的木棍处，再通过手势将“想象的”木棍移动到外星人的右侧，而后慢慢地减轻自己的手指力量直至移出屏幕边缘。这种“手势覆盖”又为游戏的视觉设计增加了另一个木棍，使她能够想象到子弹从右上木棍处弹跳至右下木棍处的动作，继而再经过小动物。

(2)以这种方式来分析学生们对手势的使用有助于确定困难区域。两名学生在最后关头都显得很犹豫，无论是声音还是用语(如“无论如何”“停在某个地方”)，而且手势出现了扭动与减弱等含糊性。这些手势都是他们不确定性的物理表现：他们不知道，如果子弹最后不是打到小动物的身上，会往哪个方向去。球会继续弹跳？还是会移出屏幕？这本身就是对产生弹跳的内容的不确定，是球吗？还是被球击中的某个东西？

(3)可以通过对学生手势的分析来探讨他们的假设。学生2使用手势覆盖来“估计”球会弹到哪里，继而又导致对游戏的修改学生2的动作表明，他们需要在球上放置几根水平木棍。

事实证明，这种不可见性，即设计舞台上的子弹从视线中消失，对学生来讲是有一定难度的。他们首先想到的是游戏多模态集成中的视觉意义。从模型上来讲，学生们在游戏设计中依靠的是视觉，而非多模态。学生们需要看着游戏来决定子弹跳“归”于何处。这些“木棍”(挡板)在屏幕上是可见的，而子弹则在“外星人”内，只有玩游戏的时候才能看得见。在这种视觉工作模式中，系统并未让子弹显现为学生们能够明确指出的“我弹”的对象。简而言之，在依靠视觉来工作时，能动性概念取决于视觉显示。总之，屏幕上显现的内容被证明在学生的设计过程中尤其重要。学生们似乎会将视觉显示与能动性联系起来；“如果看不到，就无法起作用”似乎是学生们编程背后的逻辑。

第17章 研究数字技术的多模态方法

395