多模态集成
包含一种模式以上的表征或交互可以称作多模态集成。该术语吸引了人们对符号制定者能动性的关注他们将多模态集成置于某个特定的意义建构情境来思考其社会与物质局限。因而，多模态集成可以看作社会情境、可用模式与模式可供性、可用技术及个人能动性的某个物质结果或踪迹。当某个通信活动中涉及多种模式时(如文本、网站、口语交流），所有模式共同构成了一条信息的意义(如Kress et al.，2001，2005)。然而，任何信息的意义都是分摊在各种模式中的，而且未必是平均分布。集成中的每种模式以不同的方式承载着意义的某个层面。集成中的任何一种模式只承载着信息的某个部分，也就是说，每种模式相对于意义整体来讲，都是片面的，口头与书面语言也不例外(Jewittand Kress,2003)。多模态研究考察的是不同模式间的相互作用，旨在考察每种模式的特定作用，以及各种模式如何与多模态集成中的其他模式相互作用。这就带来了分析方面的一些问题，比如，应该包括或排除哪些模式、每种模式的功能如何、意义如何分摊在各个模式上、换作别的选择会产生怎样的沟通效应。有时候，两种模式实现的意义可能是“并列的”；另外一些时候，可能是相互补充的；还有些时候，每种模式分别指向截然不同的意义层面，甚至是矛盾或对立的。莱姆基（Lemke，2002：303)曾指出：“没有哪个(书面)文本是图像。任何文本或视觉表征都无法表达文本的全部及确切意义。正是这种本质上的非可比性，使得人们可以通过将多个模式相结合，产生真正的新意义。”多模态集成中的模式可供性引发的问题是：哪个图像是“最”适合的？哪些话以及哪些其他模式及其排列是“最”适合特定情境的？相互作用(及文本)中精心策划的模式间的联系本身就能通过调整集成中的模式组合、各模式的不同权重（MartinecandSalway，2005）或模式密度(Norris,2009)来实现其意义。比如，超链接的结构实现了元素间的关联与不关联，这种结构有助于扩展元素间的意义关系。关注什么、哪些“有意义”，这是意义建构工作的一个重要方面，已由多模态的着眼点提前决定。而且，当意义建构者明确了“最适合”的模式，以及如何为了特定目的而对模式进行组合时，对建构多模态集成的不间断过程的分析，能使分析者揭开意义是如何被凝聚在一起的。
第17章 研究数字技术的多模态方法
255
385