当前数字情境对于身体与空间性的引入，明显地体现在新兴的以身体交互为基础的技术中(Price etal.，2009)。课堂作为一种多模态学习环境，已经获得了相当多的研究；研究表明，学习者的位置、姿势、手势及目光被认为在学校的英语与科学教学中起到了关键作用(如Kresset al.,2001,2005)。多模态关注相互作用中的身体模式与空间特征其符号资源与可供性，这种关注为数字技术研究提供了潜能。比如，有了数字感应反馈，即腕表、背带、虚拟化身及屏幕，Wii游戏能够重构玩家物理形态的身体(因而也有社会关系)间的关系，以有趣的方式建立物理数字映射，说明该如何开展协作与“共同游戏”。多模态提供了一套描绘与探询此类重新映射的资源比如，实现“物理”与“虚拟”身体间的互动。对物质的这种数字重新映射与扩展在各种以数字为中介的情境中是至关重要的。屏幕与数字技术如何重新调整身体的作用，这一问题也关乎对在线多模态交互的理解。琼斯在分析人们如何构建并消费自我在社交网络环境中的多模态显示时，分析了“用以生产与消费显示的不同数字技术如何影响到这些网站用户间的可能关系，以及这些显示允许他们采取的社会行为类型”(Jones,2009:82)。对模式、符号资源、物质性与模式可供性的关注提供了一种描述语言，用以分析这些复杂网站上的交互。比如，对外科手术室的多模态研究表明：给旧的既定社会环境加载数字技术，会对交互产生影响(Bezemer et al.,2011)。同Wii类似，在以屏幕为基础的数字环境中从事重要手术工作的外科医生，重新调整他们的目光、身体姿势、团队配置，要求大家参与到物理一数字映射中来。多模态研究关注的还有：此处讨论的这些物理一数字混合应用工具能否产生新的交互形式，推动新的行为，改变物理、知觉与身体等方面的体验。
多模态还被应用于各种多模态数字类型，以探讨数字意识与素养问题，尤其是在教育领域(Alvermann,2002;Jewitt andKress,2003;Marsh,2006)。多模态也被用于分析音乐编曲、视频制作中的电影拍摄与特写编辑、数字动画与游戏(Walton,2004;Burn,2009)、在线环境(Jones,2009)及更近期的与移动技术及地理信息系统技术的交互(Hollett and Leander,this volume)。
多模态文本与交互中各个模式之间或多个模式间的关系是多模态研究的核心领域，多模态研究探讨的往往是既定情境与某个文本或情景交互中的模式配置间的关系，既是为更好地理解使用中的模式资源，也是为解决实质性问题。文本或组织元功能历来是此项研究的重点，比如，对多模态结合（vanLeeuwen,2005)的理解，是经由节律、构成、信息关联与模型密度或强度等(Norris,2004)，通过整合多模态文本与通信活动中的不同符号资源来实现(或实现不了)的。
第17章 研究数字技术的多模态方法
258
389