这与多模态的第三个基础假设有关，即人们通过对模式的选择与配置而精心策划意义。因而，不同模式间的相互作用对于意义建构十分重要。多模态通信本身并不新鲜，通信从来就是多种模态的，不过，数字媒体令人们对通信多模态特征的兴趣日增；因为它强调，在当前的话语世界，思考各模式的独特特征、多模态配置与其符号功能有着重要意义(Ventola et al.，2004)。任何模式中的意义都与通信集成中其他模式的意义相互交织在一起。不同模式间的相互作用本身就是意义产生的组成部分。
背景简介
多模态是在 21世纪初发展起来的(参见Kress and van Leeuwen,2001;Kress et al.,2001,2005;van Leeuwen,2005;Jewitt,2009)。多模态源于语言学中的通信观念，尤其是迈克尔·哈利迪(MichaelHalliday)的研究，他将语言视作一个社会符号系统。哈利迪的研究将关注点从作为静态语言学系统的语言转为作为社会系统的语言，即语言如何受到人们使用方式与语言资源在特定情境中的社会功能等的影响。在《作为社会符号的语言》(LanguageasSocialSemiotic)一书中，哈利迪(Halliday，1978)提出了一种基于意义的社会功能视角的语言理论，以及将语言视作由选择与意义潜势构成的系统的框架，简而言之，将意义视作选择。
霍奇和克雷斯(Hodge and Kress,1998)的《社会符号学》(Social Semiotics)、克雷斯和范列文(Kress and van Leeuwen,2006)的《读懂图像》(Reading Images)先后将关注点从语言扩展到其他符号学系统(或模式），奠定了将社会符号学扩展并应用于各种模式的基础，开启了多模态之门。克雷斯和范列文将从语言中发展起来的原则扩展到视觉领域。他们对视觉文本进行了分析，以确定作为视觉沟通意识与论述的配置基础的各种符号学资源、意义潜势、可用选择及组织原则。多模态借鉴了语言学中一些理论上可移植到其他模式的理念，比如话轮转换、连贯性、组合方式等；探讨了与这些模式特性相关的观点的传播。在此过程中，多模态研究扩展了哈利迪的意义概念，并根据情境进行相应调整；以特定资源与口头和书面语言原则为出发点，将其核心要素扩展到其他模式，承认手势、目光注视及图像等资源有着非常重要的差别。多模态在发展过程中，已跳出语言学来寻找有助于分析的资源，进一步探讨了意义建构的情境特征，包括社会语言学、电影理论、艺术史及肖像学、音乐学。
第17章 研究数字技术的多模态方法
252
381