■张 莉 谢韶亮

　　多媒体语篇分析：以希拉里的一则总统竞选广告为例

　　■张 莉 谢韶亮

　　由于多媒体语篇对于语言学研究来说是一种新的语篇形式，文章运用系统功能语法对一则多媒体语篇进行分析。其分析过程如下：首先是对多媒体语篇的转录，这种转录方法是区别于，纯粹语音的转录，有其特有的方式；其次是系统功能语法的理论的框架的实际运用与验证；最后，得出多媒体语篇的自身特点，主要在于视频与音频的联系方式，以及多媒体语篇与整个社会知识的联系，并且提出更广阔的分析思路，例如批评语篇分析的方法的运用。

前言

随着符号学的发展，多媒体语篇分析已越来越受到重视，尤其是语篇分析研究者们的重视。多媒体语篇分析起源于视觉符号在语篇中的作用，即视觉语篇分析（visual discourse analysis）。近年来，人们认识到视觉符号和声音符号与语言符号同样重要，都是语篇的构建和理解的重要因素，掀起了一场多媒体语篇分析研究的新浪潮。多媒体语篇分析并非无水之源，无本之木。它有着长期的理论准备，例如多媒体语篇分析从多媒体广告的分析研究中得到启发。然而，多媒体语篇分析毕竟刚刚起步，又鉴于语篇分析的复杂性，尤其是多媒体语篇分析的复杂性，人们采取不同的分析目的，会使用不同的分析方法，得到不同的结果。国内对于多媒体语篇的研究主要是局限于多媒体对于英语课堂教学的作用，而对于多媒体语篇本身的研究却聊聊可数。正如Forceville（2007）所说“突然之间，多模式分析成了热门的学术话题。”目前此类研究大致分为两类，一类是语言学导向，另一类是非语言学导向的(Baldry&Thibault,2006)。按方法分，又可分为多模态分析和视觉语篇分析。国外所做研究的对象是多媒体广告（Cook,1992;Stella&Adam,2005）和电影(Bordwell&Thompson,1988)等，并且从事此类研究的包括了理工科科技人员 (Watanabe等,2000)和社会文化学者和语言学家(例如，Kress，2001；O’Halloran，2004)；其中，Kress(2001)提出了多模式的交际理论，Scollon和Scollon（2003）开辟了新的符号研究领域——“geosemiotics”。国内相关的多模式研究是顾曰国（2005），他对北京外国语大学60周年庆祝仪式作了多模式语篇分析，诚如作者所言是尝试性的（“exploratory”）。

　　文章的研究对象是希拉里的一则总统竞选广告，借鉴系统功能语法的观点和批评语篇分析的观点，对这则多媒体语篇进行解读。文章主要以语言学导向，探讨多媒体语篇的衔接方式及其语用效果，

一、转录

竞选广告的转录分为两个部分：一为文本的转录，二为多媒体的整体转录。

（一）文本转录

文章进行文本转录的目的为描写文本服务，即尽量还原希拉里的话语特点。采用的方法是Gee（1999）的stanza和line的划分方法，由于具体的文本细节的不同，在方法上会有一定的出入。（++表示长时间的停顿，+表示较短时间的停顿，单词大写表示重读）

　　HILLARY（screaming）:

　　As I travel around America,++

　　I hear from SO many people who feel like+

　　they're just invisible to their government.

　　ANNOUNCER:

　　Hillary Clinton has spent her life standing up for people others don't see.

　　HILLARY（sappy music）:

　　If you're a family that is struggling,and you don't have health care,

　　well,you ARE invisible+to this president.

　　If you're a single mom trying to find affordable child care so you can go to work,

　　well,you're INVISIBLE,too.

　　And I never thought I would see that+our soldiers who served in Iraq and Afghanistan+would be treated as though THEY were invisible as well.

　　Americans from all walks of life across our country+may be invisible to this president,+but they're not invisible to me

　　and they won't be invisible+to the next president of the United States!

（二）多媒体转录

多媒体的转录采用的是Thibault（2000）所采用的表格法（Table），作者也强调话语，多媒体（声音视觉）符号是共现的，虽然文字转录与多媒体语篇不能完全对等但是这种方法基本上能实现者两者的统一。文章因个案分析需要略作改动。需要说明的是，多媒体语篇本身是个流动的动态过程，在转录时必然会丢失一些动态信息。

二、多媒体语篇的衔接与连贯

任何语篇都具有七大特性（参见Beaugrande和Dressler，1981）其中之一便是场景的构建或称场景性(situationality),我们认为此语篇特点对于多媒体语篇至关重要，并且体现的更直观，更明显。语篇分析的理论共识之一是语篇与文化或社会知识之间是相互影响的。可以说多媒体营造了一个情景语境。多媒体语篇的衔接与连贯，通过话语和音乐等，直接与视觉符号和场景互动。

（一）指称

指称（或照应）（reference）分为内指包括前指(anaphoric)，后指(cataphoric)和外指(exophoric)（Halliday&Hasan:2001）；多媒体语篇从总体上来看主要是依靠外指达到连贯，即语言表达与视觉符号同步。例如，Hillary说到single mom,视频上出现了“抱着婴儿的妇女”，说道soldier视频上出现了“抱着小孩的年轻男子”，说到“all walks of life”出现了一群人等。然而，我们并不能确定视频中人物的确切身份，但是由视频本身和话语共同构成的一个语境使话语和场景相互影响，这同时使得外指具有预设性，即“理所当然的认为”（taken-for-grantedness）。

　　另一方面，外指与视觉符号并非总是保持同步，外指的所指可以缺省，在这种情况下我们认为多媒体语篇要达到某种语用效果。例如，文章所分析的这则多媒体广告，最后Hillary说到“这届总统”(this president)但是并没有任何人在画面中出现以指称现实的president（George W.Bush）。在语用效果上可以认为是总统无视人民，所以人民亦将无视总统；目的在于褒己贬人。整个多媒体语篇都是在指称的大环境下的衔接。然而，需要指出的是，外指本身就是一个动态的概念，至少在多媒体语篇内如此，具体的说，话语外指多媒体的视觉符号，整个多媒体语篇则外指社会文化语境。另外，作为多媒体语篇的指称，也可以是场景指称（例如动态的视觉符号）；如竞选广告中“travel”一词的动态外指。

（二）省略

就文章的研究对象而言，省略手段并不十分明显，我们认为只是视觉符号使用了省略手段，例如，在视频开始时声道中出现了announcer的声音时省略了希拉里的演说词，另外，整个视频表现的是希拉里在公众面前的演说，但是视频画面省略了演说过程的大部分画面，取而代之的是演说内容的视觉符号。我们认为，作为政治广告话语上还应保持一定的严肃性，所以话语方面并没有使用省略的衔接手段；另一方面，视觉符号的省略取舍也具有一定的语用效果，省略的部分一方面为了使视频更简洁，更重要的是为了突出重点，例如每当希拉里说到“invisible”时视频画面便回到演讲的主线场景。值得一提的是上述提到的“this president”的外指在视觉符号上的省略，可以称作“外指缺省”（exophoric default），这是有具体的语用含义的。

（三）替代

多媒体语篇的替代是双重的：一是视觉符号的替代，二是话语语篇中的替代。正如上文所述视觉符号中的人物可以视为个体替代一类人。话语语篇中的替代一般是代词，方式一般是名词性替代，一般来说，被替代者则在画面中以视觉符号的形式呈现，进一步分析话语指称，视觉符号指称，共同指向更广阔的社会文化大语境。

（四）连接

本竞选广告的多媒体语篇的连接可以分为视觉符号、听觉符号和话语符号的连接。视觉符号的连接主要是通过关联性，本则广告的主线是希拉里的公众演说，主题是“invisible”所以人物的显现尤其是希拉里的显现是连接的主要方式。例如，视觉符号的希拉里身着红色外套演说的场景即可视为视觉符号的连接。听觉符号的连接主要是背景音乐的连续。话语的连接方式是通过排比的修辞手段实现的。需要指出的是，视觉符号的连接在多媒体语篇中需要有符号认知上的关联意识，以达到对多媒体语篇的统一，连贯的整体性构建。

（五）重复

文章竞选广告的重复包括视觉符号重复和话语语篇内的重复。例如，视觉符号中，“拥抱”场面的重复和希拉里身着红色外套演讲场面的重复。本广告重复手段的运用也具有一定的语用目的，即为了政治目的赢得大众的支持；另外，使人们感到多媒体语篇的整体性和连贯性。但是此类场景重复并不一定与话语重复符合或同步，或可以说视觉语篇具有相对的独立性。但是整体多媒体语篇的最终效果必然是各种符号的有机统一。

三、余论及更广阔的视角

另外需要指出的是所谓“非人物”的视角（impersonal footing），Glinert（2005）认为这种视角主要是匿名的画外音形式，通常是男性的冷静的话语，给人以专家的权威。本则广告也出现了男性画外音即announcer的话语，但我们认为画外音在具体的语篇中具有不同的效果或目的。我们认为此广告的画外音主要地是表达可证性，使语篇更具效力使人可信。

　　其次，不可忽视的是除了情景语境之外，还有文化语境对整个多媒体产生影响，在话语语篇，多媒体语篇和文化背景等划分下产生明显的层次结构特征。本则语篇的大文化场景应当是民主党的政治路线，即将焦点放在国内，注重美国国民在国内的福利，权利和利益，另一方面不排除竞选者Hillary作为女性政治家的女性主义观念。由于篇幅所限本文不作详细讨论。

　　再次，任何语篇都是一个整体，将语篇尤其是多媒体语篇采用分析的手段分析只是为了满足更好的理解语篇的需要，所以不能机械地认为多媒体语篇各个部分是可以独立的，而应当在分析之后从整体上认识多媒体语篇的视觉符号，听觉符号和话语符号之间的相互影响和联系。

　　语篇分析由于目的和切入点的不同而采取不同的分析方法和理论，本文主要是依据韩礼德的衔接理论，对多媒体语篇的语用意义作了探讨。当然还可以从其他方面进行研究，例如认知语言学的理论。本文的不足之处在于只是个案分析，在量上没有达到乔姆斯基的描写充分性，即所得结论的普遍性有待进一步的证实。

四、意义

通过对多媒体语篇的个案分析，可以为多媒体语篇的教学构建提供参考，例如，外指缺省的语用含义在多媒体语篇教学中的采用及其效果，更重要的是多媒体语篇作为话语语篇和社会语境的中间层面的地位，其语用指称对于理解更广阔和更抽象的社会文化现象的作用。

　　[1]Baldry,A.P.and Thibault,P.J. （2006）.Multimodal Transcription and Text.London:Equinox.de Beaugrande,R.,and W.U.Dressler.（1981）.Introduction to text linguistics.London:Longman.

　　[2]Bordwell,David&Thompson,Kristin.（1988）Film Art:An Introduction(2nd ed.).Berkeley,CA:University of California Press.

　　[3]Cook,G.（1992）.The Discourse of Advertising.London:Routledge.

　　[4]Forceville,C.（2007）.Book review.Multimodal Transcription and Text Analysis:A Multimedia Toolkit and Coursebook.Journal ofPragmatics.

　　[5]Gee,J.P.（1999）.An Introduction to Discourse Analysis:Theory and Method.Routledge.

　　[6]Glinert,Lewis.（2005）.TV commercials for prescription drugs:A discourse analytic perspective.Research in Social and Administrative Pharmacy,p.158-184.

　　[7]Halliday,M.A.K.&Hasan,R. （1976）,Cohesion in English,Longman,London.

　　[8]Kress,G.R.（2001）.Multimodal Discourse:The Modes and Media ofContemporary Communication.London:Arnold.

　　[9]O’Halloran,Kay L.,（ed.）.(2004).Multimodal Discourse Analysis.London:Continuum.

　　[10]Stella,J.and Adam,S.（2005）.Tropes in Advertising:A Web-Based Empirical Study, p. 93-105. Multimedia CD-ROM.In Treloar,A.and Ellis,A.（Eds.）

　　[11]Thibault,P.J.（2000）.The multimodal transcription of a television advertisement.In A.Baldry,Ed.,Multimodality and Multimediality in the distance learning age.Campobasso,Italy:Palladino.

　　[12]Watanabe,Yasuhiko,Okada,Yoshihiro,Kurohashi,Sadao,&Iwanari,Eiichi.（2000）.Discourse Structure AnalysisFor News Video.IEEE International Conference on Multimedia&Expo.New York New York.Electronic Proceedings

　　[13]顾曰国.（2003）.Forthcoming A multimodal text analysis of an anniversary ceremony in China A corpus linguistic approach.Submitted asa contribution to a special issue ofText.

　　张 莉（1980.4-），女，陕西蒲城人，渭南师范学院外国语学院教师，研究方向：外国语言文学;谢韶亮(1981.10-)，男，安徽全椒人，渭南师范学院外国语学院教师，研究方向：对比语言学。）