保明东 马 瑜 卢 刚

　　(云南民族大学 云南 昆明 650500)

　　多模态话语分析国内研究综述

　　保明东 马 瑜 卢 刚

　　(云南民族大学 云南 昆明 650500)

　　随着现代信息技术的飞速发展，信息的传递方式由单一文本形式转化为多模态形式。本文通过对国内近十年多模态话语分析进行综述，总结出我国多模态话语研究主要为多模态本身及理论研究、模态构建研究及多模态在教育中的运用及作用3个领域。分析了我国多模态话语研究现状及存在的问题，以及对今后的研究的启示。

　　模态;多模态;话语分析;理论研究

1 多模态话语分析概述

语言是人类交往的工具和手段，但绝对不是唯一的工具和手段。多模态指的便是除了文本之外，还带有图像、图表等符合话语，或者说任何由一种以上符合编码实现意义的文本。由此可见，在日常生活中，绝对单一模态的语篇是很少见的，而多模态语篇则是普遍存在的。Kress和Leeuween认为，多模态语篇是一种融合了多种交流模态(如声音、文字、形象等)来传递信息的语篇，因此，区分单模态和多模态的关键在于有几种符号参与了语篇的构成。顾曰国认为，模态指人类通过感官(如视觉、听觉)跟外部环境(如人、机器、物件、动物等)之间的互动方式。用单个感官进行互动的叫单模态，用两个的叫双模态，三个或以上的叫多模态。他认为区分的关键在于有几种感官参与。综上所述，多模态语篇应分为启用单一感官的多符号语篇或启用多感官的多符号语篇。

2 数据分析

目前国内对多模态话语语篇的研究主要涉及3个领域：多模态本身及理论研究、模态构建研究及多模态在教育中的运用及作用。按照研究成果发表年限统计，国内关于多模态话语分析3个领域的研究成果分布见表1。

　　

　　表1 近十年我国多模态话语分析研究成果统计图

3 国内研究动态解析

3.1 多模态理论框架研究。国内学者就多模态话语的理论框架而言系统功能语言学是最为适合的，如朱永生(2007) 认为多模态话语分析深受系统功能语言学的影响。张德禄(2009) 指出系统功能语言学对话语的功能与意义极其看重，将其置于首位，以多模态形式完成意义的实现。关于数字技术对多模态语篇分析产生的影响与重大作用冯德正(2010) 进行了介绍。

　　3.2 多模态语篇构建及模态间关系研究

　　

　　表2 多模态语篇构建及模态间关系研究统计

　　3.2.1 二维平面图文关系的多模态研究。二维平面关系的多模态研究语篇主要来是关于公益平面广告、活动及电影海报、会徽、包装设计、杂志封面等平面印刷品图文关系多模态建构分析。赵立书(2014)在其硕士论文中基于杨钠，提出了一个适合分析多模态公益广告互动意义的模型，并从定性、定量及对比方面对中英公益广告互动意义进行多模态话语对比分析，发现中英多模态公益广告在互动意义构建上的相同点及不同点。

　　3.2.2 影视及视频广告宣传片多模态分析。随着多媒体技术的发展,人们发现单纯从语言角度已经不能对话语展开深入全面的分析和研究。话语标记语作为一种语言模态已不仅仅以文本模式出现，而是和图像、声音、动作、颜色等多种模态同时出现，共同完成语篇衔接的构建。相对于图文语篇，视频语篇涉及更多模态共同建构，综合运用听觉、视觉、触觉等多种感觉方式，通过声音、语言、图像、动作等多种手段和符号系统进行交际，这样的语言也可称为超越作为社会符号的语言，使用两种或多种符号资源比如语言、音乐、空间、手势等完成意义构建的社会实践。樊雪琴(2015)基于Halliday的系统功能语言学的理论背景，以Kress & Van Leeuwen提出的视觉语法为基础，建立多模态话语分析的视觉语法分析框架分析微电影语篇中经常出现的的多模态话语方式，从叙事和概念两个维度分析其表征意义，从接触、社会距离、视角和情态等方面分析其互动意义，从信息值、显著性和取景方面分析其构图意义。

　　3.2.3 三维空间的多模态话语建构。科学技术的不断发展使得人们不仅以言语传递信息，而且通过多模态形式，如图像，视频或音乐来传递信息。在可以用多种交流模式的信息化时代，话语建构的方式也越来越缤纷复杂。运用多种媒体和模态辅助交流成为提高交际能力和交际效果的重要途径。魏鹏(2013)以视觉语法为基础，采取以定量、定性相结合的研究方法，综合了静态的舞台背景、PPT及动态的演示视频语篇的产品推广发布会作为研究对象，对苹果公司产品推广发布会进行多模态话语分析。

　　3.2.4 网络语篇中图文关系多模态研究。

　　互联网技术和多媒体技术的发展使信息传播方式日益多元化，对网络及网络语篇的多模态话语分析研究在近几年才开始崭露头角，与海报，电影，平面广告等方面的研究相比，对网页的多模态分析研究是一个崭新的领域，其中涉及到旅游广告、网络新闻报道、政府网站、购物网站、教育博客、个人网页和博物馆网页、游戏页面等。

　　3.3 多模态在教育中的运用及作用

　　3.3.1 多模态教学。教育语篇在教育和文化传播过程中占有着重要的地位，一直是系统功能语言学家关注的主要课题之一。多模态话语分析理论的提出和数字化技术的成熟发展为多模态教学资源库的建立提供了理论基础和技术平台。刘秀丽(2011)以多模态话语分析理论为基础，以多模态研究为视角，结合系统功能语言学的三大元功能观，结合学生外语学习动机理论、英语教师的个性魅力及激励风格等理论，对大学英语课堂教学中教师的多模态话语进行多层面、多视角研究，找到了教师多模态话语的内容与学生英语学习积极性的关系。

　　3.3.2 多模态教材分析。杨钠(2014)基于视觉语法框架和图文关系理论，突破过去对文本或图像进行孤立研究的局限，提出分析文本和图像共同构建意义的框架。

4 国内多模态话语分析研究的思考

多模态话语分析在我国属于一个全新的语言学研究领域，研究历史不长，在理论和分析方法上有待进一步研究加以深化。理论框架主要集中在Halliday的系统功能语法和Kress&Van Leeuwen的视觉语法。面对同样的一个模态体系，不同的分析者有可能因为个人的文化背景、知识结构或者解读动机、理解能力的差异而得出不同的结论。在国内现有的多模态话语研究成果基本停留在主观的分析解读层面， 缺乏对多模态语法关系进行科学的调查取证与量化分析，实证研究有待加强。

　　大多数的研究成果都集中在分析平面图文语料上，发现不同媒体形成的形式项目，并且研究它们之间体现意义的语法规则固然是重要的研究课题，而更要的课题是探讨各符号之间的关系，发掘不同模态的媒体之间如何相互关联，共同实现说话人的意义的基本途径如何。国内现有的研究主要集中在视觉和文字模态相结合的二维平面研究层次上，对于视觉、声音、文字相结合的三维空间的多模态语篇以及空间模态的语篇鲜有涉及。

5 结语

经过国内学者十多年的努力，目前多模态话语理论在中国的研究已进入蓬勃发展时期，取得了可喜的成绩。多模态话语研究作为新兴学科，在国内研究中，理论上还需要创新与借鉴，方法上还需要改进。相信未来多模态话语研究方向越来越广阔，前景越来越美好。

　　[1] 樊雪琴，2015，从多模态分析视角研究动态语篇[D]，山东师范大学。

　　[2] 冯德正，2010，数字技术与多模态语篇[J]，《北京科技大学学报(社科版)》(4) : 12-17。

　　[3] 赵立书，2014，中英公益广告互动意义多模态对比分析[D]，东北师范大学。

　　[4] 朱永生，2007，多模态话语分析的理论基础与研究方法[J]，《外语刊》(5):82-86。

　　保明东(1992-)，男，云南曲靖人，云南民族大学英语语言文学专业研究生，研究方向为美国华裔文学。马瑜(1966-)，女，哈尼族，云南宣威人，云南民族大学外语学院教授，文学硕士，主要从事英语教学、英美文学和女性问题研究。卢刚(1990-)，男，安徽宣城人，云南民族大学英语口译专业研究生，研究方向为口译与跨文化交际。

　　HO

　　A

　　1672-5832(2016)06-0291-02