这一定义强调了形式与意义间关系的历史发展,与巴赫金(Bakhtin)提出的互文性概念相符。克雷斯(Kress,2010)强调,符号资源是不断改变的。这一理论立场将人视作具有能动性的符号制定者,通过对符号资源的塑造与组合,来反映他们的兴趣所在。
物质性
物质性是指各种模式如何成为社会主体的研究产物,他们如何将物质的实物“素材”转换为文化符号资源。物质性本身具有重要的符号潜势:声音有着不同于书面记载的可供性,而手势则提供了不同于色彩的物质潜能,如此等等。所有的模式,从根本上来讲既有物质性,也是社会作用于物质的产物(如将声音转化为语言或音乐),为意义建构提供了特定的潜势,也带来了局限性。模式的物质性也将身体与其知觉连接在一起,继而又将生理与知觉置于意义的核心。
模式可供性
模式可供性一词在多模态研究中备受争议,常常引起人们的争论。该词源于心理学家詹姆士·吉布森(JamesGibson,1979)对知觉及人与环境交互的研究;在其研究中,可供性是指某个环境中潜在的“行为可能性”,对任何物体的潜在使用都源于行为者凭能力与兴趣能感知到的物体属性。唐纳德·诺曼随后采用该术语来研究产品的设计,强调了物质性的物质与社会层面(Norman,1990)。
“模式可供性”随后为克雷斯(2010)所采用,用于指不同模式的潜势与局限—有可能表达与代表什么,运用某种模式资源可轻松地沟通什么,哪些不那么直接,甚至根本不可能要了解这些,还需不断地进行社会研究。从这个视角出发,“可供性”一词讲的并不是知觉,而是一个与某种模式的有形的及文化、社会和历史应用相关联的复杂概念。影响模式可供性的因素包括:一种模式如何被使用、这种模式被反复用来表达或实现什么、这种模式使用情境中的社会风俗如何等。正如范列文的符号资源定义所言,一种模式的渊源、其文化研究史及出处都影响着该符号资源的意义潜势。这些可供性促成了不同的通信与表征潜能,或各模式的模态逻辑(尽管我们必须注意到,这些都是开放的、容易改变或受到干扰的)。比如,语音的可供性,通常是随时间展开的;这种时间次序决定了我们能对(语音)声音做什么。语音的时间次序逻辑是难以规避的:一个声音跟着另一个声音发生,一个词语接着另一个词语,一个句法与文本要素跟着另一个。这个次序成为一种可供性或意义潜势:创造了将某个内容置于最先、最后或序列中某个位置的可能性。因而,语音模式受到时间逻辑的强烈控制。同所有的指导原则相似,这一情形并非适用于所有情境,而是通过复杂的社会交互而成为物质的,反之亦然从这个意义上讲,物质构成社会,反之亦然。模式可供性表明,所有模式都是意义建构中的一部分,因而有针对性地选择将哪些模式纳入到多模态集成中,就能够应对这种偏颇性。
数字技术研究(世哲手册)
254
的—比如,我们的发音器官、我们用以做各种面部表情与手势的肌肉——也可以是技术的——比如,笔墨或电脑软件、硬件——还可以是这些资源的组织方式。符号资源具有基于其过往使用的意义潜势,以及基于潜在用途的某套可供性。这些符号资源可在具体的社会情境中实现,其使用受制于某种形式的符号制度(VanLeeuwen,2005:285)。
384