第17章 研究数字技术的多模态方法
本章对多模态领域进行了介绍，讨论了其在研究数字数据与环境中的潜在应用。文章首先概述了多模态的概念，介绍了其在社会符号学中的理论渊源及基本假设。文章继而介绍了多模态的许多核心概念，包括模式、符号资源、物质性、模式可供性、多模态集成与意义功能。接着，文章讨论了用于数字技术研究的多模态的范畴与可能性。本章阐述了多模态研究的一个说明案例。文章最后讨论了以多模态方法研究数字技术的局限性与挑战。
何为多模态?
多模态是源于社会符号学的一种跨学科研究方法，多模态认为除了语言之外，还应该有其他通信与表征，应系统地研究各种意义建构形式的社会解读。多模态提供了收集与分析交互与环境的视觉、听觉、具身与空间层面的概念、方法与框架(Jewitt,2013;Kress,2010)。其他通信模式，如手势，已经得到人们的认可，并获得了广泛研究(如McNeil，1992)，而多模态研究的是通信手段间的相互作用，并且对以往在研究中占据主导地位的口头与书面语言发起了挑战(Scollonet al.,2009)。口头及书面语言仍然是重要的，但只是多模态集成的组成部分。多模态强调情境行为即社会情境及可用于意义建构的资源的重要性，并且关注到人们在不同情境中对资源的选择，而不只是强调有哪些资源可以利用。因而，多模态为我们开创了认识、分析并理论化意义建构方式及意义关联方式的可能性。
多模态提供的资源可支持对各种产品与交互进行细致而复杂的分析，在物质符号产品的意义潜势，其所处社会与文化环境的意义潜势以及人们带入该环境中的资源、意图与知识的反复联系中实现意义。也就是说，多模态试图将人们可利用的物质符号资源与其在社会情境中代表的意义结合起来。因而，改变这些资源及资源的配置方式，对于通信来讲，是至关重要的。数字技术对多模态具有特殊意义，因为数字技术促进了多种模式的可用性，这些模式彼此之间往往形成了新的符号联系，并且通过重塑活动与交互而扰乱并重新划定了各流派。因而，数字技术成为多模态研究的关键节点。
251
250
379