研究某既定符号资源的符号潜能，就是研究这个资源曾经怎样用于通信目的、现在的使用情况如何、还能够如何进行使用；既是勾勒过去与现在的目录，也是为了未来的资源与使用。如此，这个目录永远不可能完成，因为其往往是为特定目的而制定的(vanLeeuwen,2005:17)。
对新模式资源的发现与发展往往与社会变革有关，随着通信状况的改变，社会对新符号资源以及使用现有符号资源的新方式提出了要求。该领域的两个核心要素是：数字技术的潜能、全球化社会对符号资源的使用。比如，数字合成器等数字技术重新塑造了“人类”语音的潜能，以创造新的符号资源与使用“人类”语音的情境数字产品、公开声明、音乐等(vanLeeuwen，2005)。对语音的数字重塑继而又影响了声音的非数字使用—比如，对非数字声音的音调与韵律的使用，这是以前未曾想到过的。基于印刷的文本中普遍的模式符号资源，如文本链接、分层、布局及时间组织，也由数字技术对其进行了格外强调与重新配置。比如，诺克斯(Knox，2007)探讨了在线报纸如何重塑了报纸的布局、式样及图像、文字与视频的关联，并将这种影响从在线报纸“反向”映射到印刷报纸以及阅读途径(Knox,2007;Caple andKnox,2012)上。阿达米(Adami,2009)分析了社交网站YouTube上多模态的结合模式与话轮转换。多模态工具也有可能识别并描绘空间、时间、数字技术(如移动技术与全球定位系统)实现的具身行为间的重新配置，并有望解决这些技术如何影响人们的互动与体验等问题。
多模态不只关注“技术能够做什么”这样的直觉观念，而且对数字技术如何作用于符号资源、能做到什么、做不到什么等进行了细致的分析。多模态研究使得我们对通信方式有了清晰的认识，因而使我们能够对这些方式进行讨论、教学与评估。多模态还有助于我们设计符号创新使用的新方式并予以实施。
对研究方法的贡献
要理解数字环境中的人们如何交流与互动，研究人员越来越需要查看语言之外的因素。这就对数字文本与环境的研究方法提出了新要求，需要对传统的概念与分析方法进行重新思考。多模态极大地促进了现有的研究方法，尤其是社会研究中的数据与环境信息的收集与分析。多模态提供了视觉数字数据类型的收集与分析手段，包括屏幕捕捉数据与视线跟踪数据(Holsanova,2012)以及研究人员创造的及自然生成的数字视频数据(Kress et al.,2001,2005;Norris,2004;BezemerandJewitt,2010)。数字视频技术的运用及对多模态的关注向社会研究发起了重要挑战，即如何对多模态数据进行转录或再现(如时空运动)。转录已日益成为多模态方法中的创新与实验对象，其覆盖范围非常广，从视频镜头中的素描与静态画面，到Comic Life 与Transana等软件的应用(如 Baldry andTibault,2005;Plowman and Stephen,2008;Flewitt et al. ,2009;Bezemer andMavers，2011)。如上所述，多模态提供了一些描绘与分析工具，可用于研究数字技术交互中的视觉、具身及空间特征以及对音乐、电影、数字动画、游戏、广告及其他新媒体进行分析(Knox,2007;Burn,2009;Jones,2009;Adami,2009;Caple and Knox,2012)。
第17章 研究数字技术的多模态方法
391