本节还分析了当前数字文本是如何通过文本特征,如数字分层、超链接等,而组织起来的,以及其如何影响了人们对多模态数字文本的定位(Lemke,2002;Zammit,2007)。这项研究也有助于理解计划资源的占用问题(如Jewitt,2008)。大量多模态研究探讨的是图像与语言间的动态的相互作用,包括克雷斯与范列文(Kressand vanLeeuwen,2006)早期对意义的视觉表示的研究、莱姆基(1998)对科学课本中的图像与书面文字作用的研究、马蒂内克和萨尔韦(Martinec andSalway,2005)对巴尔泰斯提出的图像一文字关系分类学的重新思考,以及贝泽莫和克雷斯(BezemerandKress,2008)针对学校课本提出的图像、文字、排版、颜色与布局的分析框架。比如,克雷斯和贝泽莫以多模态文本为关注点,对20世纪30年代至21世纪头十年里科学、数学及英文课本中的学习资源进行不同的多模态集成,包括以数字形式表现的及在线的学习资源,调查了学生们的学习得失。他们对学习资源的设计及其在认识论与社会/教育学中的重要性的变革进行了多模态描述。他们得出的结论说明,图像与布局越来越融入内容与颜色的结构中,因而布局与排版已渐渐被视为通信模式。朱伊特以多模态交互为着眼点,在《技术、素养与学习》(Technolog,Literacy and Learning,2008)一书中探讨了各类模式资源(包括颜色、图像、声音、动作与手势、目光)、数字技术、知识、素养与学习间的基本联系。她在该书及其他作品中,展示了教师和学生使用的技术推动的模式资源如何重塑了他们的阅读、书写等实践,以及师生如何在科学及英文课堂上互动,她还探讨了这些变化对学习的影响。这些研究表明了数字技术如何延伸、突出,有时甚至是重塑了模式、符号资源及其在当今物质性与模式可供性中的配置以及多模态集成中可能存在的跨符号联系。
新数字符号资源的识别与开发,以及现有资源的新使用
除了创建模式与符号资源的目录,并分析这些模式与资源如何被用于各种特定情境中之外,多模态还有助于发现并开发新的符号资源以及利用现有符号资源的新方式。
数字技术研究(世哲手册)
390