数字技术研究

数字技术研究(世哲手册)

376

第16章 在线社区分析中的行为踪迹数据

377

数字技术研究(世哲手册)

378

第17章 研究数字技术的多模态方法

本章对多模态领域进行了介绍，讨论了其在研究数字数据与环境中的潜在应用。文章首先概述了多模态的概念，介绍了其在社会符号学中的理论渊源及基本假设。文章继而介绍了多模态的许多核心概念，包括模式、符号资源、物质性、模式可供性、多模态集成与意义功能。接着，文章讨论了用于数字技术研究的多模态的范畴与可能性。本章阐述了多模态研究的一个说明案例。文章最后讨论了以多模态方法研究数字技术的局限性与挑战。

何为多模态?

多模态是源于社会符号学的一种跨学科研究方法，多模态认为除了语言之外，还应该有其他通信与表征，应系统地研究各种意义建构形式的社会解读。多模态提供了收集与分析交互与环境的视觉、听觉、具身与空间层面的概念、方法与框架(Jewitt,2013;Kress,2010)。其他通信模式，如手势，已经得到人们的认可，并获得了广泛研究(如McNeil，1992)，而多模态研究的是通信手段间的相互作用，并且对以往在研究中占据主导地位的口头与书面语言发起了挑战(Scollonet al.,2009)。口头及书面语言仍然是重要的，但只是多模态集成的组成部分。多模态强调情境行为即社会情境及可用于意义建构的资源的重要性，并且关注到人们在不同情境中对资源的选择，而不只是强调有哪些资源可以利用。因而，多模态为我们开创了认识、分析并理论化意义建构方式及意义关联方式的可能性。

多模态提供的资源可支持对各种产品与交互进行细致而复杂的分析，在物质符号产品的意义潜势，其所处社会与文化环境的意义潜势以及人们带入该环境中的资源、意图与知识的反复联系中实现意义。也就是说，多模态试图将人们可利用的物质符号资源与其在社会情境中代表的意义结合起来。因而，改变这些资源及资源的配置方式，对于通信来讲，是至关重要的。数字技术对多模态具有特殊意义，因为数字技术促进了多种模式的可用性，这些模式彼此之间往往形成了新的符号联系，并且通过重塑活动与交互而扰乱并重新划定了各流派。因而，数字技术成为多模态研究的关键节点。

251

250

379

多模态方法的基础理念是，语言及其他通信系统或模式(如手势、目光)会受到用以完成社会日常实践的事物的影响，而不是受制于某套固定的规则与结构。这种将语言视为情境资源的观点包含一个基本原则，即通信模式提供了有历史针对性的、可以进行社会或文化共享(或“符号资源”)的通信选项。强调了这一点后，多模态的关键问题就是人们如何构建情境意义，以达到特定目的。

多模态有三个相互关联的基础理论假设。下面将简要介绍并讨论这三个基础假设。

多模态的第一个基础假设认为，虽然语言被普遍认为是最重要的交流模式，但口头或书面语言只是多模态集成的组成部分。多模态“跳出了语言总是在交互中扮演核心角色的理念，但并未否定其在许多情况下仍然是最核心要素”(Norris，2004:3)；在此假设基础上，进一步指出，所有模式对于意义都有相同的潜在作用。因而，按照多模态视角，语言只不过是各种模式组成的多模态集成中的其中一种模式。许多学者已经对“非语言”模式进行过分析，但多模态与这些分析不同；因为语言既不是其出发点，也不是所有通信模式的原型。多模态的出发点是，作为多模态集成某种表征及/或交互组成部分的所有模式，都应当得到研究，以明确通信者可用的基础选项、资源的意义潜势及其被选用的目的。

多模态研究的第二个核心假设是，同语言一样，所有模式都受到不同社群为实现自身社会职能而进行的文化、历史及社会运用的影响。因而，每种模式都有不同的意义潜势或符号资源，意在实现不同类型的通信工作。多模态认为所有的沟通行为都是由社会构成，或通过社会而形成的。这也引起了人们对于沟通如何受到限制、如何根据社会情境而形成等的关注，指出这些模式如何以特定的方式而受到关注。

数字技术研究(世哲手册)

380

这与多模态的第三个基础假设有关，即人们通过对模式的选择与配置而精心策划意义。因而，不同模式间的相互作用对于意义建构十分重要。多模态通信本身并不新鲜，通信从来就是多种模态的，不过，数字媒体令人们对通信多模态特征的兴趣日增；因为它强调，在当前的话语世界，思考各模式的独特特征、多模态配置与其符号功能有着重要意义(Ventola et al.，2004)。任何模式中的意义都与通信集成中其他模式的意义相互交织在一起。不同模式间的相互作用本身就是意义产生的组成部分。

背景简介

多模态是在 21世纪初发展起来的(参见Kress and van Leeuwen,2001;Kress et al.,2001,2005;van Leeuwen,2005;Jewitt,2009)。多模态源于语言学中的通信观念，尤其是迈克尔·哈利迪(MichaelHalliday)的研究，他将语言视作一个社会符号系统。哈利迪的研究将关注点从作为静态语言学系统的语言转为作为社会系统的语言，即语言如何受到人们使用方式与语言资源在特定情境中的社会功能等的影响。在《作为社会符号的语言》(LanguageasSocialSemiotic)一书中，哈利迪(Halliday，1978)提出了一种基于意义的社会功能视角的语言理论，以及将语言视作由选择与意义潜势构成的系统的框架，简而言之，将意义视作选择。

霍奇和克雷斯(Hodge and Kress,1998)的《社会符号学》(Social Semiotics)、克雷斯和范列文(Kress and van Leeuwen,2006)的《读懂图像》(Reading Images)先后将关注点从语言扩展到其他符号学系统(或模式），奠定了将社会符号学扩展并应用于各种模式的基础，开启了多模态之门。克雷斯和范列文将从语言中发展起来的原则扩展到视觉领域。他们对视觉文本进行了分析，以确定作为视觉沟通意识与论述的配置基础的各种符号学资源、意义潜势、可用选择及组织原则。多模态借鉴了语言学中一些理论上可移植到其他模式的理念，比如话轮转换、连贯性、组合方式等；探讨了与这些模式特性相关的观点的传播。在此过程中，多模态研究扩展了哈利迪的意义概念，并根据情境进行相应调整；以特定资源与口头和书面语言原则为出发点，将其核心要素扩展到其他模式，承认手势、目光注视及图像等资源有着非常重要的差别。多模态在发展过程中，已跳出语言学来寻找有助于分析的资源，进一步探讨了意义建构的情境特征，包括社会语言学、电影理论、艺术史及肖像学、音乐学。

第17章 研究数字技术的多模态方法

252

381

多模态突出了人们做出的模式选择，以及这些选择对意义产生的社会效应。因而，社会符号学的多模态分析着重强调情境概念。情境塑造了可用于意义建构的资源，以及这些资源的选择与设计方式。人们认为，符号、模式与意义建构是相当易变的、动态的、开放的系统，与使用这些系统的社会情境密切相关。按照这一视角，模式系统中的分析意义(其资源与原则)是根植于其社会与文化情境，并通过社会文化情境来调节的。人们在制定符号时，往往是将最适于传递他们在某个既定时刻想表达意义的各种形式汇聚起来，并彼此关联。

克雷斯着重强调了意义的社会特征，并提出了动机符号概念(Kress，1997)。这一概念突出了符号制定者的能动性与符号制定过程。在《书写之前》(BeforeWriting)一书中，克雷斯(kress,1997)细致地描述了幼儿使用文本的物质性与过程，以及他们如何解释、转换并重新设计符号资源与可用的符号—这些被称为符号链条。从这个意义上讲，符号(比如谈话、手势、文字作品)可以说是符号制定者利益选择的物质结果。分析重点在于如何理解儿童的解释与设计模式，以及影响到他们解释与设计模式的更广泛的语境、历史与社会因素。从某种意义上讲，文本可以说是了解文本撰写者的一个窗口。将符号看作有动机的、不断被重新制定的内容，这吸引着学者去探讨：是怎样的兴趣与意图推动了人们选择这个符号资源而不是另一个(Kress，1993)。这种“兴趣”将人们面对各种资源做出的选择与形成符号的社会情境结合在一起又返回到通信的社会符号学理论中所讲的意义选择的重要性问题。人们可用的模型资源是该情境不可或缺的组成部分，因而说明了多模态对理解意义建构过程的重要作用。

多模态，至少在部分程度上，可以理解为在快速变化的社会与技术情境中，对跳出语言范围来进行意义建构的要求的回应。我们好奇的是，数字技术的使用如何扩展了用于通信的资源范畴，重新塑造了图像与书面语言等资源间的关系，极大地重构了空间性、具身以及风俗习惯等概念，这一切都会导致改变，产生新的文本与交互类型。

253

数字技术研究(世哲手册)

382

几个关键概念

本节将更加细致地介绍以上提到的六个概念，这些概念是多模态的核心概念，即模式、符号资源、物质性、模式可供性、多模态集成、意义功能。

模式

模式是指一套受到社会与文化影响的意义建构资源，即表征或交流的“渠道”(Kress and Van Leeuwen，2001)。模式的一个定义是：模式由一套要素/资源及组织原则/规范组成，以在任何一个群体中实现能被大家公认的规则。也就是说，只有成为某个群体中大家都知道的或可用的通信系统，才能称得上是一种模式。模式系统面临的一个“考验”是其“法则”是否会被打破。某套资源能否被视为模式的另一个“考验”在于其能否详细阐述哈利迪(Halliday，1978)给出的意义功能的三个层面，即某套资源能否被用来详细阐述“内容”(概念意义）、能否构建社会关系(人际意义)、能否创造连贯性(文本意义）。具身交互中，公认的模式包括：书面语言、图像、动态影像、声音、口头语言、手势、目光注视与姿势。模式由哪些内容构成，这是一个存在争议的话题。比如，范列文(VanLeenwen，1999)曾探讨了声音与音乐何时能被视为模式，而贝泽莫和克雷斯(Bezemer andKress,2008)讨论了颜色与布局能否被视作模式。正如这些例子所表明的，模式是经由社会过程创造的，是易变的，受到各种变化的影响；而不是自发的或固定的。比如，词汇与手势的意义会随时间而变化。模式也是某个群体或文化所特有的—该群体中的人们对其符号有共同的认识而不是普遍适用的特征。

符号资源

该术语用于指一种意义建构手段，同时也是一种物质、社会与文化资源。换言之，符号资源可以被视为表征资源与人们对待这些资源的方式间的关联。

符号资源是指我们用以进行沟通的行为、物质及器物，可以是生理

第17章 研究数字技术的多模态方法

383

这一定义强调了形式与意义间关系的历史发展，与巴赫金(Bakhtin)提出的互文性概念相符。克雷斯(Kress,2010)强调，符号资源是不断改变的。这一理论立场将人视作具有能动性的符号制定者，通过对符号资源的塑造与组合，来反映他们的兴趣所在。

物质性

物质性是指各种模式如何成为社会主体的研究产物，他们如何将物质的实物“素材”转换为文化符号资源。物质性本身具有重要的符号潜势：声音有着不同于书面记载的可供性，而手势则提供了不同于色彩的物质潜能，如此等等。所有的模式，从根本上来讲既有物质性，也是社会作用于物质的产物(如将声音转化为语言或音乐)，为意义建构提供了特定的潜势，也带来了局限性。模式的物质性也将身体与其知觉连接在一起，继而又将生理与知觉置于意义的核心。

模式可供性

模式可供性一词在多模态研究中备受争议，常常引起人们的争论。该词源于心理学家詹姆士·吉布森(JamesGibson，1979)对知觉及人与环境交互的研究；在其研究中，可供性是指某个环境中潜在的“行为可能性”，对任何物体的潜在使用都源于行为者凭能力与兴趣能感知到的物体属性。唐纳德·诺曼随后采用该术语来研究产品的设计，强调了物质性的物质与社会层面(Norman，1990)。

“模式可供性”随后为克雷斯(2010)所采用，用于指不同模式的潜势与局限—有可能表达与代表什么，运用某种模式资源可轻松地沟通什么，哪些不那么直接，甚至根本不可能要了解这些，还需不断地进行社会研究。从这个视角出发，“可供性”一词讲的并不是知觉，而是一个与某种模式的有形的及文化、社会和历史应用相关联的复杂概念。影响模式可供性的因素包括：一种模式如何被使用、这种模式被反复用来表达或实现什么、这种模式使用情境中的社会风俗如何等。正如范列文的符号资源定义所言，一种模式的渊源、其文化研究史及出处都影响着该符号资源的意义潜势。这些可供性促成了不同的通信与表征潜能，或各模式的模态逻辑(尽管我们必须注意到，这些都是开放的、容易改变或受到干扰的）。比如，语音的可供性，通常是随时间展开的；这种时间次序决定了我们能对(语音)声音做什么。语音的时间次序逻辑是难以规避的：一个声音跟着另一个声音发生，一个词语接着另一个词语，一个句法与文本要素跟着另一个。这个次序成为一种可供性或意义潜势：创造了将某个内容置于最先、最后或序列中某个位置的可能性。因而，语音模式受到时间逻辑的强烈控制。同所有的指导原则相似，这一情形并非适用于所有情境，而是通过复杂的社会交互而成为物质的，反之亦然从这个意义上讲，物质构成社会，反之亦然。模式可供性表明，所有模式都是意义建构中的一部分，因而有针对性地选择将哪些模式纳入到多模态集成中，就能够应对这种偏颇性。

数字技术研究(世哲手册)

254

的—比如，我们的发音器官、我们用以做各种面部表情与手势的肌肉——也可以是技术的——比如，笔墨或电脑软件、硬件——还可以是这些资源的组织方式。符号资源具有基于其过往使用的意义潜势，以及基于潜在用途的某套可供性。这些符号资源可在具体的社会情境中实现，其使用受制于某种形式的符号制度(VanLeeuwen,2005：285)。

384

多模态集成

包含一种模式以上的表征或交互可以称作多模态集成。该术语吸引了人们对符号制定者能动性的关注他们将多模态集成置于某个特定的意义建构情境来思考其社会与物质局限。因而，多模态集成可以看作社会情境、可用模式与模式可供性、可用技术及个人能动性的某个物质结果或踪迹。当某个通信活动中涉及多种模式时(如文本、网站、口语交流），所有模式共同构成了一条信息的意义(如Kress et al.，2001，2005)。然而，任何信息的意义都是分摊在各种模式中的，而且未必是平均分布。集成中的每种模式以不同的方式承载着意义的某个层面。集成中的任何一种模式只承载着信息的某个部分，也就是说，每种模式相对于意义整体来讲，都是片面的，口头与书面语言也不例外(Jewittand Kress,2003)。多模态研究考察的是不同模式间的相互作用，旨在考察每种模式的特定作用，以及各种模式如何与多模态集成中的其他模式相互作用。这就带来了分析方面的一些问题，比如，应该包括或排除哪些模式、每种模式的功能如何、意义如何分摊在各个模式上、换作别的选择会产生怎样的沟通效应。有时候，两种模式实现的意义可能是“并列的”；另外一些时候，可能是相互补充的；还有些时候，每种模式分别指向截然不同的意义层面，甚至是矛盾或对立的。莱姆基（Lemke，2002：303)曾指出：“没有哪个(书面)文本是图像。任何文本或视觉表征都无法表达文本的全部及确切意义。正是这种本质上的非可比性，使得人们可以通过将多个模式相结合，产生真正的新意义。”多模态集成中的模式可供性引发的问题是：哪个图像是“最”适合的？哪些话以及哪些其他模式及其排列是“最”适合特定情境的？相互作用(及文本)中精心策划的模式间的联系本身就能通过调整集成中的模式组合、各模式的不同权重（MartinecandSalway，2005）或模式密度(Norris,2009)来实现其意义。比如，超链接的结构实现了元素间的关联与不关联，这种结构有助于扩展元素间的意义关系。关注什么、哪些“有意义”，这是意义建构工作的一个重要方面，已由多模态的着眼点提前决定。而且，当意义建构者明确了“最适合”的模式，以及如何为了特定目的而对模式进行组合时，对建构多模态集成的不间断过程的分析，能使分析者揭开意义是如何被凝聚在一起的。

第17章 研究数字技术的多模态方法

255

385