研究路径话语多模学理论语言(符号学多模符号研究分析)「语言学多模态研究」

研究路径话语多模学理论语言(符号学多模符号研究分析)

原文来源:潘艳艳、李战子.国内多模态话语分析综论(2003—2017)——以CSSCI来源期刊发表成果为考察对象[J].福建师范大学学报,2017 (5):49-59.最近十几年来多模态话语分析主要有以下9个研究路径:1系统功能语言学多模态话语分析Halliday将语言作为一种符号资源进行研究,认为语言只是符号资源的一种,他建立和发展的系统功能语法旨在解释所有符号的意义生成和传播[6]。
他的符号学思想和系统功能语言学理论为多模态语篇分析提供了直接的理论来源。
学者们将系统功能语法三大元功能思想延伸运用到各类多模态话语分析中,并称此研究路径为“系统功能语言学多模态话语分析”(SF-MDA)。
O’Toole (1994)是最早将该理论运用到多模态话语分析的,他详细分析了展览艺术。
其他学者,如O’Halloran(1999,2000)将该理论用来研究数学教科书中的语言、图像和数学符号。
该研究路径注重描述不同符号资源的意义系统以及符号之间的互动所产生的意义。
2社会符号学虽然 Saussure和Halliday都认为符号的社会性是阐释符号意义的必要条件,但他们主要还是研究语言系统。
因此, Kress和van Leeuwen(1996,2001,2006)将系统功能语法、Saussure和Halliday的符号学思想以及批评话语分析的理论相结合,发展了以视觉语法为基础的社会符号学(SocialSemiotics),将语言符号之外的其他符号纳入自己的研究视野。
社会符号学旨在发现各种符号模态的普遍规律,关注社会文化语境,同批评话语分析一样,致力于揭示交际行为中的权力和意识形态。
社会符号学认为符号使用者的意图、兴趣决定他们对符号资源的选择,因此意义是选择的结果。
不同的模态有不同的意义潜式。
Jewitt(2016:85)认为社会符号学的研究使人们关注软件设计者的符号选择,关注设计者在布局、用色、材质、设计方面的选择,使人们意识到有必要从某一种模态的语法研究发展到对跨模态的符号规则研究。
李战子、陆丹云(2012)认为,社会符号学视角下的多模态话语研究自上世纪90年代后期开始,始终围绕着如何将功能语言学观点扩展运用到所有符号模式这个主题展开。
3多模态隐喻分析受到社会符号学的启发,认知语言学的学者们将社会符号学、隐喻理论、转喻理论以及关联理论相结合,认为隐喻不仅表现于语言,还表现在其他符号模态中,因此提出了多模态隐喻(Forceville 1996,2006;Forceville & Urios-Aparisi 2009)这一概念,即源域和目标域分别或主要由两种不同符号模式呈现的隐喻现象,在很多情况下,其中一个符号模式为语言符号。
多模态隐喻分析主要关注多模态语篇中隐喻和转喻的建构和解读。
4多模态互动分析多模态互动分析(Multimodal intereaction analysis) (Norris 2004 Norris & Jones 2005,Scollon 2001,2004 )的主要理论基础是互动社会语言学和中介话语(mediated discourse)(Scollon 2001,2004) ,同时也吸收了社会符号学的一些观点,将语言看成社会行为,认为互动进程是共同参与过程,关注互动者如何使用多种符号模态实现社会活动,强调互动中的身份凸显。
该学派以活动(action)为分析单位,而不是某个模态,划分了互动活动中的三个层级以及两种类型的模态。
5会话分析会话分析(Conversation Analysis)研究始于二十世纪60年代,是社会学的一个分析方式,即通过观察、审视、描述社会互动的具体事例来研究社会互动,将社会学理论用于具体场景的实证研究(empirical observation)。
研究内容包括日常会话和机构会话(如学校和医院)。
由于会话中的一个行为可以由语言来实现,另一个则可以通过手势或瞬间眼神转换来实现,因此会话分析主要关注人们怎样开始和结束会话、话轮之间的转换、会话中的结构和逻辑以及互动中的身体、眼神、手势等。
该研究路径的代表人物主要有Sacks(1972)、Goodwin(2000)、Jefferson(2004)等学者,他们的研究对人类学和教育学提供了非常有意义的借鉴,使互动过程中的眼神和身体姿势得到了充分的重视。
尽管该学派属于多模态话语分析,但并不强调“多模态”这一概念。
6地理符号学地理符号学(Geo-semiotics/discourse in place)以社会符号学为视角,将语言人类学和空间符号学(place semiotics)相结合,研究语言和其他模态的符号在物质世界的空间性。
该理论的奠基者Scollon & Scollon(2003)认为,公共语篇(如路标、告示、品牌标志)的解读必须考虑其所在的社会和物质世界。
7多模态民族志多模态民族志(Multimodal ethnograp-hy) 将社会符号学研究方法和民族志(人种论)相结合,从人种论的角度(即参与者的视角)研究社会文化语境中意义的生成和理解。
该方法对儿童在校内、校外各种场景(如操场、网络环境、幼儿园以及小学课堂)中的意义生成(meaning making)进行研究。
该流派注重实地考察和研究,其代表人物主要有 Flewitt(2011)、Street, Pahl和 Rowsell(2014)等人。
8多模态语料库分析多模态语料库分析(Multimodal corpus analysis)将语料库的分析方法、系统功能语言学和符号学理论相结合,旨在通过大型语料库的方法验证多模态话语研究领域中关于意义生成的假设。
该学派的代表人物Bateman(2014: 238)认为,在多模态研究理论发展的初始阶段,单个案例的分析很重要,但是随着该理论的成熟,就有必要通过语料库的量化研究了解该理论的适用范围和普遍性。
在经过大型语料库的实证检验之前,理论或概念只能是假设。
他将所收集的语料分为线性(如文本或口语录音)和非线性(如印刷广告和网页)两种,前者用ELAN软件进行标注,后者用GeM Framework标注。
目前,用于研究网站、手册、报纸和杂志等多模态话语的语料库已经建立并被用来检测和探索许许多多模态思想。
目前最常用的多模态建库工具主要有Anvil、Elan等。
9多模态感知分析多模态感知分析(Multimodal reception analysis)主要研究人们对多模态话语的认知过程。
该流派的领军人物Holsanova (2014)将认知理论中有关感知和注意力的理论、社会符号学有关多模态话语的组构理论(composition)和眼动跟踪分析法(eye-tracking methods)相结合来研究人们对语篇的感知。
目前多模态眼动跟踪已被用来检验社会符号学思想和关于设计的理论。

联系我们

在线咨询:点击这里给我发消息