2007年第5期
总第138期
外语学刊
F ORE I G N LANG UAGE RESE ARCH
2007, No . 5Serial No . 138
○话语分析
后现代主义等许多人文科学关注的焦点。编者按:话语分析不仅是语言学关注的对象, 而且是语言哲学、
目前, 话语分析可以区分为批评话语分析和积极话语分析。其实, 话语分析应该以话语为对象, 或者以语言本身为目的, 或者以人及人的世界为目的。前者属于语言学, 后者属于语言哲学, 两者相互联系, 相互支撑。朱永生先生的文章为我国话语分析的开展指明了发展方向, 而丁建新、廖益清等先生也从不同角度出发, 在话语分析领域进行着细致的耕耘。
(, )
提 要:, 即只注意语言系统和语义结构本身及其与社会文化和心理认知之间的关系, 、、颜色、动漫等其他意义表现形式。这就使得话语分析带有较大的局限性。20世纪90年代, , 则可以在很大程度上帮助人们克服这些局限性。本文将论述与多模态话语分析紧密相关的4个问题:(1) 多模态话语的产生; (2) 多模态话语的定义; (3) 多模态话语分析的性质和理论基础; (4) 多模态话语分析的内容、方法和意义。
关键词:多模态话语分析; 理论基础; 研究方法
中图分类号:B089 文献标识码:A 文章编号:1000-0100(2007) 05-0082-5
Theory and M ethodology of M ulti m oda l D iscourse Ana lysis
Zhu Yong 2sheng
(Fudan University, Shanghai 200433, China )
The discourse analysis that has been done s o far is largely restricted t o language itself, i . e . attenti on has been paid t o the language syste m and se mantic structure and their relati on t o culture and cogniti on, with other ways of meaning making such as i m 2ages, s ounds, col ours and flashes ignored . This has made discourse analysis far fr om comp rehensive and exhaustive . Multi m odal discourse analysis, which started in the 90s of the last century in the west, can s olve this p r oble m t o a great extent . This paper atte mp ts t o discuss f our issues cl osely related t o multi m odal discourse analysis:1) where multi m odal discourse comes fr om; 2) how multi m odal discourse is defined; 3) what is the nature and theoretical basis of multi m odal discourse analysis; and 4) W hat is the content, methodol ogy and significance of multi m odal discourse analysis .
Key words:multi m odal discourse analysis; theoretical basis; methodol ogy
1 引言
自美国语言学家Harris 于20世纪50年代初提出话语分析(discourse analysis ) 这一研究方向以来, 世界各地的话语分析家作出了很大努力, 提出了各种各样的话语分析理论和方法, 通过大量实例分析, 解剖了话语活动内在的规律以及话语活动与意识形态和认知模式之间的关系。(朱永生2003) 然而, 这些理论和方法, 基本上都是以语
言为研究对象, 即只注意语言系统和语义结构本身及其与社会文化和心理认知之间的关系, 忽视诸如图象、声音、颜色、动漫等其他意义表现形式。这就使得话语分析带有较大的局限性。20世纪
90年代西方兴起的多模态话语分析(multi m odal discourse analysis ) , 则可以在很大程度上帮助人
们克服这些局限性。
本文将论述与多模态话语分析紧密相关的4
82
2007年 朱永生 多模态话语分析的理论基础与研究方法 第5期
个问题:(1) 多模态话语的产生; (2) 多模态话语的定义; (3) 多模态话语分析的性质和理论基础;
(4) 多模态话语分析的内容、方法和意义。
交际所使用的技术(technol ogy ) , 从严格的语言学和符号学意义上来看, 算不上一个术语。模态和情态一样, 在英语中都叫做modality, 但两者所指不同。情态指语言系统中讲话者对事物的或然性
(p r obability ) 进行判断和事物的必要性(necessi 2ty ) 表明态度的语义系统, 而模态则指交流的渠道
2 多模态话语的产生
2. 1感知模态的产生
生命科学的研究成果告诉我们, 生命体在演化过程中逐步获得视觉、听觉、嗅觉、味觉、触觉等
5种不同的感知通道(sens ory channel ) :(1) 靠眼
和媒介, 包括语言、技术、图象、颜色、音乐等符号系统。
睛获得的视觉通道(visual channel ) ; (2) 靠耳朵获得的听觉通道(auditive channel ) ; (3) 靠皮肤获得的触觉通道(tactile channel ) ; (4) 靠鼻子获得的嗅觉通道(olfact ory channel ) ; (5) 靠舌头获得的味觉通道(gustat ory channel ) 。这些通道是生命体与周围环境进行信息交换的界面和路径。残酷的物竞天择面前, 用, , 55种交际模态
3 多模态话语的性质和识别标准
我们认为, 。因此, 围, , 经过十多年的发, , 扩展到、社会学、人类学、政治学、新闻学、心、法学、美学和医学等领域, 研究对象也从语言文字扩展到音乐、图片、影像、网页设计和建筑风格等多种社会符号系统。
多模态话语如何识别? 我们认为, 不外乎两个判断标准。
第一条标准是看涉及的模态种类有多少, 这是当前语言学界普遍认可的标准。只使用一种模态的话语叫做“单模态话语”(mono modal dis 2
course ) , 如使用听觉模态收听新闻广播或使用视
的产生:) 、听觉模态(au 2
ditive modality ) 、(tactile modality ) 、嗅觉
模态(olfacotry modality ) 和味觉模态(gustat ory
modality ) 。
在上述模态中, 与话语分析关系最紧密的是视觉模态和听觉模态。近年来, 由于科学技术的发展, 触觉模态、嗅觉模态和味觉模态也开始用于话语交际。这里仅以触觉模态为例, 随着数据手套(datagl ove ) 的问世, 人们可以依靠传递手指的弯曲角度, 打出各种各样的三维手势, 把语言和手势结合起来, 从而使人机对话更加接近于自然的人际对话。
2. 2模式、媒介与模态的差别
觉模态阅读小说。同时使用两种或两种以上模态的话语叫做“多模态话语”(multi m odal dis 2
course ) , 也有人把同时使用两种模态的话语叫做(bi “双模态话语”m odal discourse ) 。同时使用两
种模态的例子有使用可视电话进行交际时, 交际双方都需要用耳朵听对方的讲话内容, 用眼睛看对方的表情变化和手势变化。同时使用三种或三种以上模态的例子很多。在日常生活中, 我们使用手机交流时, 需要用耳朵听, 用嘴讲, 用笔写信息, 用手发信息; 电脑上网时, 需要用眼睛看屏幕上显示的文字和图象, 用耳朵听文字的录音和图象发出的声音, 在技术允许的条件下还可以用鼻子闻到电脑里发出的某种气味。技术含量更高的是美ATT 贝尔实验室设计的Hu M a Net 系统, 这个系统能使异地客户召开会议时同时获得声音、文字、数据和图象。
第二条标准是看涉及的符号系统有多少。有些话语虽然只涉及一种模态, 但包含两个或两个以上的符号系统, 如连环画虽然只涉及视觉模态, 但既有文字又有图画; 广播小说虽然只涉及听觉模态, 但既有文字内容又有背景音乐。我们也把
在多模态话语分析中, 模式(mode ) 、媒介
(mediu m ) 与模态(modality ) 三个词语经常出现。
由于彼此之间在意义上有一定的联系, 但界限并不十分明确, 容易造成混乱和误解, 有必要对它们各自的含义进行说明。
一般来说, 模式指系统功能语言学家所说的与话语范围(field of discourse ) 和话语基调(tenor
of discourse ) 并列的语境三要素之一的话语模式(mode of discourse ) , 意指交流渠道(channel of co mmunicati on ) , 如口头模式(s poken mode ) 、书面
模式(w ritten mode ) 、电子模式(electr onic mode ) 等。这些模式的使用和变化在一定程度上影响信息的流动(inf or mati on fl o w ) , 最终影响语篇性
(texture ) (语篇应该具备的特征) 。媒介指语言
83
2007年 朱永生 多模态话语分析的理论基础与研究方法 第5期
这些话语看作是多模态话语。(至于手势语、面部表情和身势语等副语言(paralanguage ) , 我们既
) 可以把它们看作语言, 也可以看作另一种模态。
叫多模态语篇; (2) 如何对这些语篇进行转录和分析; (3) 对多模态语篇进行分析或建立多模态语篇语料库时需要哪些技术; (4) 把多媒体的意义生成资源(meaning 2making res ources ) 综合应用到超级语篇(hy pertext ) 后怎样才能使我们的意义生成潜能(meaning 2making potential ) 成倍地增加;
(5) 在我们所处的电子学习时代, 如何使语言研
4 多模态话语分析的理论基础
虽然多模态话语分析也从皮尔斯等人的符号学理论中吸取了媒介、对象、解释三位一体等理念, 但其主要理论基础却是Halliday 创立的系统功能语言学(Halliday 1978, 1985/1994;Halliday
&Matthiessen2004) 。具体地说, 多模态话语分析
究与多模态和多媒体联系起来; (6) 多模态话语分析能以什么方式、在多大程度上给语言学带来新的变化。(Baldry &Thibault 2006)
此外, Le V ine &Scoll on () 主张在社会、(&Je w itt 则认为, , 外加三维) (’Hall oran &Je w itt 2006) 。研究的具体内容包
从系统功能语言学那里接受了语言是社会符号
(s ocial se m i otic ) 和意义潜势(meaning potential )
的观点, 认为语言以外的其他符号系统也是意义的源泉; 接受了系统理论, 认为多模态话语本身也具有系统性; 接受了纯理功能假说(metafuncti hy pothesis ) , 的话语一样, 也具有多功能性, 能、; () 理论, 。
符号学的影响, 我们可以把它叫做系统功能符号学(syste m ic 2functi onal se m i otics ) 。系统功能语言学则可看作系统功能符号学的一个分支。
括这些模态的步骤(phase ) 、过渡(transiti on ) 、摄影(ca mera ) 、身体移动(body move ment ) 、印刷版式(ty pography ) 以及这些模态的选择和使用是如何引导读者理解语篇和语境意义的。正如信息学家在发明和应用多模态技术时不仅要使多模态相互结合而且相互配合, 语言学家在进行多模态话语分析时不仅要研究每个模态本身对话语意义的产生有何作用, 而且要研究所涉及的所有模态之间是如何互动, 从而使语篇获得更多的意义(en 2
hanced meaning ) 的。
5. 2方法
5 多模态话语分析的内容、方法与意义
5. 1内容
把语言学理论应用于符号学(尤其是视觉符号研究) 研究早就开始了。例如, 布拉格学派把
(f oregr ounding ) 概念应用于美术、“前景化”戏剧、
要正确解读多模态话语的意义, 须要掌握两个要领。
第一个要领是确定不同成分之间的语法关系。一讲到语法, 人们自然会想到如何把单词连成句子的规则, 很少考虑到视觉符号系统中单个元素相互组合时是否也有章可循。回顾符号学的研究历史, 视觉符号(visual se m i otic ) 研究占据了十分重要的地位, 但这类研究基本上都集中在图象、人物、事物和地点等元素的外延和内涵以及象征意义上, 这在很大程度上相当于语言学中的词汇研究, 符号之间的“语法”关系被忽视了。那么, 如何确定多模态话语的语法关系呢? Kress &
Leeu wen 认为, 图象中的视觉符号不仅可以反映
电影和服饰研究; 巴黎学派把索绪尔有关“语言”与“言语”、“能指”和“所指”、“任意”与“理据”等理论应用于绘画、摄影、时装、电影和音乐研究; 批评语言学派和系统功能符号学派把Halliday 的系统功能语言学理论应用于新闻、文学和音乐等领域的研究等。
多模态话语分析关心的课题很多, 学者们的看法也不尽相同。这里仅列举几种有代表性的意见。
Si m p s on 对一次以多模态化为主题的国际应
用语言学研究会的议题进行归纳, 指出多模态话语分析主要涉及如下几个方面:(1) 多模态化和新的媒体; (2) 在学术和教育情境下的多模态化的应用; (3) 多模态化与识读实践; (4) 多模态化语料库的建立; (5) 多模态化和类型学; (6) 多模态化话语分析及其理论问题。(Si m p s on 2003)
Baldry &Thibault 则列出6个课题:(1) 什么
客观世界和主观世界发生的各种事件, 而且可以表现各种各样的人际关系, 与此同时视觉符号内部也是一个有机的连贯的整体, 因此可以借用
Halliday 的语言三大功能假说, 分别从概念功能、
人际功能和语篇功能三个不同的层面分析图象等
84
2007年 朱永生 多模态话语分析的理论基础与研究方法 第5期
视觉符号的语义关系(Kress &Leeu wen 2003) 。在概念意义层面上, 我们可以探讨不同的图象之间或同一个图象中不同成分之间有何联系, 哪个成分相当于及物系统中的行为者(act or ) , 哪个成分充当对象(g oal ) , 哪个成分表示环境(circu m 2
stance ) 。在人际意义层面上, 我们可以探讨图象
符号资源完成意义建构(Kress et a l 2001) 。这就是说, 自然状态下发生的话语活动往往具有多模态性(multi m odality ) 。以前由于科学技术的限制, 很少有人从多模态角度分析话语。如今, 随着多媒体技术和语料库的迅速发展, 对自然话语进行多模态研究已经成为可能。
多模态话语分析的意义在于它可以将语言和其他相关的意义资源整合起来(Gibbon 2000) , 它不仅可以看到语言系统在意义交换过程中所发挥的作用, 而且可以看到诸如图象、音乐、颜色等其, 从而使话语意义的解读更加全面, 进而发现人。(胡壮。
中参与者之间的社会关系、图象设计者的交际目的以及图象解读者本身对图象内容的介入(in 2
v olve ment ) 程度。在语篇意义层面上, 我们可以根
据同一个图象中不同成分之间或不同图象之间所处的相对位置(如上下、前后、中心边缘关系) 等版面安排的具体情况, 分析多模态话语的信息分布(inf or mati on distributi on ) , 确认哪些成分是已知信息(given inf or mati on ) , 哪些成分是新信息(ne w
inf or mati on ) , 起点(point of departure ) , 想要传递的信息焦点(inf or on 。
系。这方面, 。如Barthes 认为, , 然而由于图象本, 必须借助文字说明才能确定
(Barthes1967, 1977) 。而Kress &Leeu wen 却认
6 不足之处与今后走向
多模态话语分析目前还处于起始阶段, 在如下三个方面存在一些不足。第一, 语法分析的主观性太强。以文本为基础的语法分析, 尽管也需要分析者对句子意义结构的理解, 但一般都可以提供严格意义上的语法依据, 而多模态话语分析中的语法分析由于缺乏严格语法意义上的标记和线性关系, 因此带有很强的主观性, 即在很大程度上依靠分析者本人对不同组成部分之间语义关系的理解。在面对同样两个或更多的成分时, 不同的人可能会因为文化背景不同、知识结构不同, 甚至解读动机不同进行不同的分析, 从而得出不同的结论。第二, 与第一个不足之处相关的是各种模态之间的互动关系和互补作用难以确定。多模态话语中往往由多种系统构成, 而每个系统中又有很多单个的成分。这些成分当中, 哪些对解读有价值, 哪些没有价值, 也是不容易确定的因素。第三, 迄今为止, 从事多模态话语分析的绝大多数是系统功能语言学家, 而多模态话语分析是跨学科的, 仅仅依靠语言学的一个流派是远远不够的。只有其他学科的学者共同参与, 多模态话语的意义才能得到更加全面而正确的解读。
值得高兴的是, 虽然多模态技术还处于研发阶段, 但已经对多模态话语的收集、转录和分析以及社会交际的方式和作用产生了影响。随着科学技术的进一步发展, 人们认识世界的水平将越来越高。根据现有的资料, 我们可以预测, 多模态话语分析将呈现两个比较明显的趋势。第一个趋势是对多模态互补作用的更加关注, 如语篇与图象
为, 图象和文字说明是有联系的, 但并不依赖文字说明, 因为它本身既是有组织的(organized ) , 又是有结构的(structured ) (Kress &Leeu wen 2006) 。这就要求我们对两者的互补作用进行深入的研究。此外, Kress &Leeu wen 还告戒我们, “视觉结构并不只是对‘现实’结构进行复制。恰恰相反, 它们生成的现实世界的各种图象, 与那些生成、传播和阅读这些图象的社会机构的利益是紧紧联系在一起的。它们是表达意识形态的。视觉结构绝不只是形式的, 它们在语义上也是非常重要的”
(Kress &Leeu wen 2006:47) 。这意味着图象和语
言一样, 对社会现实和心理现实既具有复制作用, 又具有重新建构的作用。
5. 3意义
回顾迄今为止的话语分析, 几乎都是以文本为基础的。这可能是一个方向性的错误。Sau 2
ssure (1916) 早就明确指出, 实际使用的话语才是
语言学真正须要研究的对象, 基于文本的语言形式和结构研究并不能从根本上解决语言学家想要解决的问题。Halliday (1978) , Halliday &Hasan
(1985) , Chafe (1994) 等人也持有相同的观点。
我们认为有必要将语言研究的重心转移到自然状态下的话语上来, 特别是现场即席口语会话。而人们在具体的社会情境中, 总是运用多种多样的
85
2007年 朱永生 多模态话语分析的理论基础与研究方法 第5期
的互补, 说话与手势的互补, 面部表情与语音识别
(s peech recogniti on ) 的互补, 面部表情与语音综合(s peech synthesis ) 的互补等。第二个趋势是复杂
(eds . ) , Fram ing and Perspectivising in D iscourse [C ].Am sterda m, P A:John Benjam ins Pub, 2003. Leeu wen, Theo Van .
[A].
Three Models of I nterdisci p linarity
I n Wodak, Ruth and Paul Chilt on (eds . ) , A
程度的提高, 如从二维话语分析走向三维话语分析, 从静态研究走向动态研究等。我们相信, 此类研究必将进一步推动话语分析乃至整个语言学的发展。目前处于落后地位的我国语言学界须要迎头赶上, 做出自己应有的贡献。参考文献
胡壮麟. 社会符号学研究中的多模态化[J ].语言教学与
研究, 2007(1) .
朱永生. 话语分析50年[J ].外国语, 2003(3) .
Baldry, A. &P . J. Thibault . M ulti m odal Transcription and
Text A nalysis [M].London:Equinox Publishing, 2006.
N e w A genda in (C ritical ) D iscourse A nalysis [C ].Am 2
sterda m, P A:John Benja m ins Pub, 2005. Leeu wen, Theo Van .
Towards a Se m i otics of Typography
[J ].Infor m ation D esign Journal, 2006(2) .
Leeu wen, Theo Van &Ada m Jaworski . The D iscourses of
W ar Phot ography:Phot oj ournalistic Rep resentati ons of the Palestinian 2Israeli W ar [J ].of L anguage and Politics , 2003(2) .
Leeu Theo van . Handbook of V isual
.
. p Meaning:V isual and Verbal Se m i 2
Text[A].I n J. R. Martin and Robert (eds . ) , Reading Science:C ritical and Functional Perspectives on D iscourses of Science [C ].London /Ne w
Barthes, R.
1967. Barthes, R.
1977.
Ele m ents of Se m iology [M ].London:I m age 2M usic ].
York:Routledge, 1998.
Le V ine, Phili p &Ron Scoll on . D iscourse and Technology:
M ulti m odal D iscourse A nalysis [M ].W ashingt on DC:
Chafe, W. D and T i m e [M].Chica 2
go:University Chicago Press, 1994.
Gibbon, Dafydd, I nge Mertins &Roger K . Moore . Handbook
of M ulti m odal and Spoken D ialogue Syste m s [M].Bos 2
Georget own University Press, 2004. O ’Hall oran, K . L.
(3) .
O ’Hall oran, K . L. &Je witt, Carey . M ulti m odal D iscourse
A nalysis:Syste m ic Functional Perspectives [M ].Ne w
I nterdependence, I nteracti on and M eta 2
t on:Klu wer Acade m ic Publishers, 2000.
Halliday, M. A. K . L anguage as a Social Se m iotic [M].
London:A rnold, 1978.
Halliday, M. A. K . A n Introduction to Functional Gramm ar
[M].London:A rnold, 1985/1994.
Halliday, M. M. K . &C . M atthiessen . A n Introduction to
Functional Gramm ar [M].London:A rnold, 2004.
phor in Multise m i otic Texts[J ].Social Se m iotics , 1999
York:Continuu m I nternati onal Publishing Gr oup, 2006. O ’Toole ’s . The L anguage of D isplayed A rt [M].Fairleigh 2
D ickens on University Press, 1994.
Royce, Terry D. Synergy on the Page:Exp l oring I nterse m i 2
otic Comp le mentarity in Page 2based M ulti m odal Text [A].In JASFL O ccasional Papers No . 1[C ].Tokyo:Japan A ss ociati on of Syste m ic Functi onal L inguistics, 1998.
Saussure, F . de . Course in General L inguistics [M].Lon 2
don:Gerald Duck worth &Co . L td . , 1916.
Kress, G . &Leeu wen, Theo Van . M ulti m odal D iscourse:
The M odes and M edia of Conte m porary Co mm unication
[M].London:A rnold, 2003.
nd Kress, G . &Leeu wen, Theo Van (2Editi on ) . Reading
I m ages:The Gramm ar of V isual D esign [M].London:
Routledge, 2006.
Leeu wen, Theo Van . A Multi m odal Pers pective on Composi 2
ti on .
[A ].
I n Ensink, Titus and Christ oph Sauer
收稿日期:2006-12-28【责任编辑 王松鹤】
86
2007年第5期
总第138期
外语学刊
F ORE I G N LANG UAGE RESE ARCH
2007, No . 5Serial No . 138
○话语分析
后现代主义等许多人文科学关注的焦点。编者按:话语分析不仅是语言学关注的对象, 而且是语言哲学、
目前, 话语分析可以区分为批评话语分析和积极话语分析。其实, 话语分析应该以话语为对象, 或者以语言本身为目的, 或者以人及人的世界为目的。前者属于语言学, 后者属于语言哲学, 两者相互联系, 相互支撑。朱永生先生的文章为我国话语分析的开展指明了发展方向, 而丁建新、廖益清等先生也从不同角度出发, 在话语分析领域进行着细致的耕耘。
(, )
提 要:, 即只注意语言系统和语义结构本身及其与社会文化和心理认知之间的关系, 、、颜色、动漫等其他意义表现形式。这就使得话语分析带有较大的局限性。20世纪90年代, , 则可以在很大程度上帮助人们克服这些局限性。本文将论述与多模态话语分析紧密相关的4个问题:(1) 多模态话语的产生; (2) 多模态话语的定义; (3) 多模态话语分析的性质和理论基础; (4) 多模态话语分析的内容、方法和意义。
关键词:多模态话语分析; 理论基础; 研究方法
中图分类号:B089 文献标识码:A 文章编号:1000-0100(2007) 05-0082-5
Theory and M ethodology of M ulti m oda l D iscourse Ana lysis
Zhu Yong 2sheng
(Fudan University, Shanghai 200433, China )
The discourse analysis that has been done s o far is largely restricted t o language itself, i . e . attenti on has been paid t o the language syste m and se mantic structure and their relati on t o culture and cogniti on, with other ways of meaning making such as i m 2ages, s ounds, col ours and flashes ignored . This has made discourse analysis far fr om comp rehensive and exhaustive . Multi m odal discourse analysis, which started in the 90s of the last century in the west, can s olve this p r oble m t o a great extent . This paper atte mp ts t o discuss f our issues cl osely related t o multi m odal discourse analysis:1) where multi m odal discourse comes fr om; 2) how multi m odal discourse is defined; 3) what is the nature and theoretical basis of multi m odal discourse analysis; and 4) W hat is the content, methodol ogy and significance of multi m odal discourse analysis .
Key words:multi m odal discourse analysis; theoretical basis; methodol ogy
1 引言
自美国语言学家Harris 于20世纪50年代初提出话语分析(discourse analysis ) 这一研究方向以来, 世界各地的话语分析家作出了很大努力, 提出了各种各样的话语分析理论和方法, 通过大量实例分析, 解剖了话语活动内在的规律以及话语活动与意识形态和认知模式之间的关系。(朱永生2003) 然而, 这些理论和方法, 基本上都是以语
言为研究对象, 即只注意语言系统和语义结构本身及其与社会文化和心理认知之间的关系, 忽视诸如图象、声音、颜色、动漫等其他意义表现形式。这就使得话语分析带有较大的局限性。20世纪
90年代西方兴起的多模态话语分析(multi m odal discourse analysis ) , 则可以在很大程度上帮助人
们克服这些局限性。
本文将论述与多模态话语分析紧密相关的4
82
2007年 朱永生 多模态话语分析的理论基础与研究方法 第5期
个问题:(1) 多模态话语的产生; (2) 多模态话语的定义; (3) 多模态话语分析的性质和理论基础;
(4) 多模态话语分析的内容、方法和意义。
交际所使用的技术(technol ogy ) , 从严格的语言学和符号学意义上来看, 算不上一个术语。模态和情态一样, 在英语中都叫做modality, 但两者所指不同。情态指语言系统中讲话者对事物的或然性
(p r obability ) 进行判断和事物的必要性(necessi 2ty ) 表明态度的语义系统, 而模态则指交流的渠道
2 多模态话语的产生
2. 1感知模态的产生
生命科学的研究成果告诉我们, 生命体在演化过程中逐步获得视觉、听觉、嗅觉、味觉、触觉等
5种不同的感知通道(sens ory channel ) :(1) 靠眼
和媒介, 包括语言、技术、图象、颜色、音乐等符号系统。
睛获得的视觉通道(visual channel ) ; (2) 靠耳朵获得的听觉通道(auditive channel ) ; (3) 靠皮肤获得的触觉通道(tactile channel ) ; (4) 靠鼻子获得的嗅觉通道(olfact ory channel ) ; (5) 靠舌头获得的味觉通道(gustat ory channel ) 。这些通道是生命体与周围环境进行信息交换的界面和路径。残酷的物竞天择面前, 用, , 55种交际模态
3 多模态话语的性质和识别标准
我们认为, 。因此, 围, , 经过十多年的发, , 扩展到、社会学、人类学、政治学、新闻学、心、法学、美学和医学等领域, 研究对象也从语言文字扩展到音乐、图片、影像、网页设计和建筑风格等多种社会符号系统。
多模态话语如何识别? 我们认为, 不外乎两个判断标准。
第一条标准是看涉及的模态种类有多少, 这是当前语言学界普遍认可的标准。只使用一种模态的话语叫做“单模态话语”(mono modal dis 2
course ) , 如使用听觉模态收听新闻广播或使用视
的产生:) 、听觉模态(au 2
ditive modality ) 、(tactile modality ) 、嗅觉
模态(olfacotry modality ) 和味觉模态(gustat ory
modality ) 。
在上述模态中, 与话语分析关系最紧密的是视觉模态和听觉模态。近年来, 由于科学技术的发展, 触觉模态、嗅觉模态和味觉模态也开始用于话语交际。这里仅以触觉模态为例, 随着数据手套(datagl ove ) 的问世, 人们可以依靠传递手指的弯曲角度, 打出各种各样的三维手势, 把语言和手势结合起来, 从而使人机对话更加接近于自然的人际对话。
2. 2模式、媒介与模态的差别
觉模态阅读小说。同时使用两种或两种以上模态的话语叫做“多模态话语”(multi m odal dis 2
course ) , 也有人把同时使用两种模态的话语叫做(bi “双模态话语”m odal discourse ) 。同时使用两
种模态的例子有使用可视电话进行交际时, 交际双方都需要用耳朵听对方的讲话内容, 用眼睛看对方的表情变化和手势变化。同时使用三种或三种以上模态的例子很多。在日常生活中, 我们使用手机交流时, 需要用耳朵听, 用嘴讲, 用笔写信息, 用手发信息; 电脑上网时, 需要用眼睛看屏幕上显示的文字和图象, 用耳朵听文字的录音和图象发出的声音, 在技术允许的条件下还可以用鼻子闻到电脑里发出的某种气味。技术含量更高的是美ATT 贝尔实验室设计的Hu M a Net 系统, 这个系统能使异地客户召开会议时同时获得声音、文字、数据和图象。
第二条标准是看涉及的符号系统有多少。有些话语虽然只涉及一种模态, 但包含两个或两个以上的符号系统, 如连环画虽然只涉及视觉模态, 但既有文字又有图画; 广播小说虽然只涉及听觉模态, 但既有文字内容又有背景音乐。我们也把
在多模态话语分析中, 模式(mode ) 、媒介
(mediu m ) 与模态(modality ) 三个词语经常出现。
由于彼此之间在意义上有一定的联系, 但界限并不十分明确, 容易造成混乱和误解, 有必要对它们各自的含义进行说明。
一般来说, 模式指系统功能语言学家所说的与话语范围(field of discourse ) 和话语基调(tenor
of discourse ) 并列的语境三要素之一的话语模式(mode of discourse ) , 意指交流渠道(channel of co mmunicati on ) , 如口头模式(s poken mode ) 、书面
模式(w ritten mode ) 、电子模式(electr onic mode ) 等。这些模式的使用和变化在一定程度上影响信息的流动(inf or mati on fl o w ) , 最终影响语篇性
(texture ) (语篇应该具备的特征) 。媒介指语言
83
2007年 朱永生 多模态话语分析的理论基础与研究方法 第5期
这些话语看作是多模态话语。(至于手势语、面部表情和身势语等副语言(paralanguage ) , 我们既
) 可以把它们看作语言, 也可以看作另一种模态。
叫多模态语篇; (2) 如何对这些语篇进行转录和分析; (3) 对多模态语篇进行分析或建立多模态语篇语料库时需要哪些技术; (4) 把多媒体的意义生成资源(meaning 2making res ources ) 综合应用到超级语篇(hy pertext ) 后怎样才能使我们的意义生成潜能(meaning 2making potential ) 成倍地增加;
(5) 在我们所处的电子学习时代, 如何使语言研
4 多模态话语分析的理论基础
虽然多模态话语分析也从皮尔斯等人的符号学理论中吸取了媒介、对象、解释三位一体等理念, 但其主要理论基础却是Halliday 创立的系统功能语言学(Halliday 1978, 1985/1994;Halliday
&Matthiessen2004) 。具体地说, 多模态话语分析
究与多模态和多媒体联系起来; (6) 多模态话语分析能以什么方式、在多大程度上给语言学带来新的变化。(Baldry &Thibault 2006)
此外, Le V ine &Scoll on () 主张在社会、(&Je w itt 则认为, , 外加三维) (’Hall oran &Je w itt 2006) 。研究的具体内容包
从系统功能语言学那里接受了语言是社会符号
(s ocial se m i otic ) 和意义潜势(meaning potential )
的观点, 认为语言以外的其他符号系统也是意义的源泉; 接受了系统理论, 认为多模态话语本身也具有系统性; 接受了纯理功能假说(metafuncti hy pothesis ) , 的话语一样, 也具有多功能性, 能、; () 理论, 。
符号学的影响, 我们可以把它叫做系统功能符号学(syste m ic 2functi onal se m i otics ) 。系统功能语言学则可看作系统功能符号学的一个分支。
括这些模态的步骤(phase ) 、过渡(transiti on ) 、摄影(ca mera ) 、身体移动(body move ment ) 、印刷版式(ty pography ) 以及这些模态的选择和使用是如何引导读者理解语篇和语境意义的。正如信息学家在发明和应用多模态技术时不仅要使多模态相互结合而且相互配合, 语言学家在进行多模态话语分析时不仅要研究每个模态本身对话语意义的产生有何作用, 而且要研究所涉及的所有模态之间是如何互动, 从而使语篇获得更多的意义(en 2
hanced meaning ) 的。
5. 2方法
5 多模态话语分析的内容、方法与意义
5. 1内容
把语言学理论应用于符号学(尤其是视觉符号研究) 研究早就开始了。例如, 布拉格学派把
(f oregr ounding ) 概念应用于美术、“前景化”戏剧、
要正确解读多模态话语的意义, 须要掌握两个要领。
第一个要领是确定不同成分之间的语法关系。一讲到语法, 人们自然会想到如何把单词连成句子的规则, 很少考虑到视觉符号系统中单个元素相互组合时是否也有章可循。回顾符号学的研究历史, 视觉符号(visual se m i otic ) 研究占据了十分重要的地位, 但这类研究基本上都集中在图象、人物、事物和地点等元素的外延和内涵以及象征意义上, 这在很大程度上相当于语言学中的词汇研究, 符号之间的“语法”关系被忽视了。那么, 如何确定多模态话语的语法关系呢? Kress &
Leeu wen 认为, 图象中的视觉符号不仅可以反映
电影和服饰研究; 巴黎学派把索绪尔有关“语言”与“言语”、“能指”和“所指”、“任意”与“理据”等理论应用于绘画、摄影、时装、电影和音乐研究; 批评语言学派和系统功能符号学派把Halliday 的系统功能语言学理论应用于新闻、文学和音乐等领域的研究等。
多模态话语分析关心的课题很多, 学者们的看法也不尽相同。这里仅列举几种有代表性的意见。
Si m p s on 对一次以多模态化为主题的国际应
用语言学研究会的议题进行归纳, 指出多模态话语分析主要涉及如下几个方面:(1) 多模态化和新的媒体; (2) 在学术和教育情境下的多模态化的应用; (3) 多模态化与识读实践; (4) 多模态化语料库的建立; (5) 多模态化和类型学; (6) 多模态化话语分析及其理论问题。(Si m p s on 2003)
Baldry &Thibault 则列出6个课题:(1) 什么
客观世界和主观世界发生的各种事件, 而且可以表现各种各样的人际关系, 与此同时视觉符号内部也是一个有机的连贯的整体, 因此可以借用
Halliday 的语言三大功能假说, 分别从概念功能、
人际功能和语篇功能三个不同的层面分析图象等
84
2007年 朱永生 多模态话语分析的理论基础与研究方法 第5期
视觉符号的语义关系(Kress &Leeu wen 2003) 。在概念意义层面上, 我们可以探讨不同的图象之间或同一个图象中不同成分之间有何联系, 哪个成分相当于及物系统中的行为者(act or ) , 哪个成分充当对象(g oal ) , 哪个成分表示环境(circu m 2
stance ) 。在人际意义层面上, 我们可以探讨图象
符号资源完成意义建构(Kress et a l 2001) 。这就是说, 自然状态下发生的话语活动往往具有多模态性(multi m odality ) 。以前由于科学技术的限制, 很少有人从多模态角度分析话语。如今, 随着多媒体技术和语料库的迅速发展, 对自然话语进行多模态研究已经成为可能。
多模态话语分析的意义在于它可以将语言和其他相关的意义资源整合起来(Gibbon 2000) , 它不仅可以看到语言系统在意义交换过程中所发挥的作用, 而且可以看到诸如图象、音乐、颜色等其, 从而使话语意义的解读更加全面, 进而发现人。(胡壮。
中参与者之间的社会关系、图象设计者的交际目的以及图象解读者本身对图象内容的介入(in 2
v olve ment ) 程度。在语篇意义层面上, 我们可以根
据同一个图象中不同成分之间或不同图象之间所处的相对位置(如上下、前后、中心边缘关系) 等版面安排的具体情况, 分析多模态话语的信息分布(inf or mati on distributi on ) , 确认哪些成分是已知信息(given inf or mati on ) , 哪些成分是新信息(ne w
inf or mati on ) , 起点(point of departure ) , 想要传递的信息焦点(inf or on 。
系。这方面, 。如Barthes 认为, , 然而由于图象本, 必须借助文字说明才能确定
(Barthes1967, 1977) 。而Kress &Leeu wen 却认
6 不足之处与今后走向
多模态话语分析目前还处于起始阶段, 在如下三个方面存在一些不足。第一, 语法分析的主观性太强。以文本为基础的语法分析, 尽管也需要分析者对句子意义结构的理解, 但一般都可以提供严格意义上的语法依据, 而多模态话语分析中的语法分析由于缺乏严格语法意义上的标记和线性关系, 因此带有很强的主观性, 即在很大程度上依靠分析者本人对不同组成部分之间语义关系的理解。在面对同样两个或更多的成分时, 不同的人可能会因为文化背景不同、知识结构不同, 甚至解读动机不同进行不同的分析, 从而得出不同的结论。第二, 与第一个不足之处相关的是各种模态之间的互动关系和互补作用难以确定。多模态话语中往往由多种系统构成, 而每个系统中又有很多单个的成分。这些成分当中, 哪些对解读有价值, 哪些没有价值, 也是不容易确定的因素。第三, 迄今为止, 从事多模态话语分析的绝大多数是系统功能语言学家, 而多模态话语分析是跨学科的, 仅仅依靠语言学的一个流派是远远不够的。只有其他学科的学者共同参与, 多模态话语的意义才能得到更加全面而正确的解读。
值得高兴的是, 虽然多模态技术还处于研发阶段, 但已经对多模态话语的收集、转录和分析以及社会交际的方式和作用产生了影响。随着科学技术的进一步发展, 人们认识世界的水平将越来越高。根据现有的资料, 我们可以预测, 多模态话语分析将呈现两个比较明显的趋势。第一个趋势是对多模态互补作用的更加关注, 如语篇与图象
为, 图象和文字说明是有联系的, 但并不依赖文字说明, 因为它本身既是有组织的(organized ) , 又是有结构的(structured ) (Kress &Leeu wen 2006) 。这就要求我们对两者的互补作用进行深入的研究。此外, Kress &Leeu wen 还告戒我们, “视觉结构并不只是对‘现实’结构进行复制。恰恰相反, 它们生成的现实世界的各种图象, 与那些生成、传播和阅读这些图象的社会机构的利益是紧紧联系在一起的。它们是表达意识形态的。视觉结构绝不只是形式的, 它们在语义上也是非常重要的”
(Kress &Leeu wen 2006:47) 。这意味着图象和语
言一样, 对社会现实和心理现实既具有复制作用, 又具有重新建构的作用。
5. 3意义
回顾迄今为止的话语分析, 几乎都是以文本为基础的。这可能是一个方向性的错误。Sau 2
ssure (1916) 早就明确指出, 实际使用的话语才是
语言学真正须要研究的对象, 基于文本的语言形式和结构研究并不能从根本上解决语言学家想要解决的问题。Halliday (1978) , Halliday &Hasan
(1985) , Chafe (1994) 等人也持有相同的观点。
我们认为有必要将语言研究的重心转移到自然状态下的话语上来, 特别是现场即席口语会话。而人们在具体的社会情境中, 总是运用多种多样的
85
2007年 朱永生 多模态话语分析的理论基础与研究方法 第5期
的互补, 说话与手势的互补, 面部表情与语音识别
(s peech recogniti on ) 的互补, 面部表情与语音综合(s peech synthesis ) 的互补等。第二个趋势是复杂
(eds . ) , Fram ing and Perspectivising in D iscourse [C ].Am sterda m, P A:John Benjam ins Pub, 2003. Leeu wen, Theo Van .
[A].
Three Models of I nterdisci p linarity
I n Wodak, Ruth and Paul Chilt on (eds . ) , A
程度的提高, 如从二维话语分析走向三维话语分析, 从静态研究走向动态研究等。我们相信, 此类研究必将进一步推动话语分析乃至整个语言学的发展。目前处于落后地位的我国语言学界须要迎头赶上, 做出自己应有的贡献。参考文献
胡壮麟. 社会符号学研究中的多模态化[J ].语言教学与
研究, 2007(1) .
朱永生. 话语分析50年[J ].外国语, 2003(3) .
Baldry, A. &P . J. Thibault . M ulti m odal Transcription and
Text A nalysis [M].London:Equinox Publishing, 2006.
N e w A genda in (C ritical ) D iscourse A nalysis [C ].Am 2
sterda m, P A:John Benja m ins Pub, 2005. Leeu wen, Theo Van .
Towards a Se m i otics of Typography
[J ].Infor m ation D esign Journal, 2006(2) .
Leeu wen, Theo Van &Ada m Jaworski . The D iscourses of
W ar Phot ography:Phot oj ournalistic Rep resentati ons of the Palestinian 2Israeli W ar [J ].of L anguage and Politics , 2003(2) .
Leeu Theo van . Handbook of V isual
.
. p Meaning:V isual and Verbal Se m i 2
Text[A].I n J. R. Martin and Robert (eds . ) , Reading Science:C ritical and Functional Perspectives on D iscourses of Science [C ].London /Ne w
Barthes, R.
1967. Barthes, R.
1977.
Ele m ents of Se m iology [M ].London:I m age 2M usic ].
York:Routledge, 1998.
Le V ine, Phili p &Ron Scoll on . D iscourse and Technology:
M ulti m odal D iscourse A nalysis [M ].W ashingt on DC:
Chafe, W. D and T i m e [M].Chica 2
go:University Chicago Press, 1994.
Gibbon, Dafydd, I nge Mertins &Roger K . Moore . Handbook
of M ulti m odal and Spoken D ialogue Syste m s [M].Bos 2
Georget own University Press, 2004. O ’Hall oran, K . L.
(3) .
O ’Hall oran, K . L. &Je witt, Carey . M ulti m odal D iscourse
A nalysis:Syste m ic Functional Perspectives [M ].Ne w
I nterdependence, I nteracti on and M eta 2
t on:Klu wer Acade m ic Publishers, 2000.
Halliday, M. A. K . L anguage as a Social Se m iotic [M].
London:A rnold, 1978.
Halliday, M. A. K . A n Introduction to Functional Gramm ar
[M].London:A rnold, 1985/1994.
Halliday, M. M. K . &C . M atthiessen . A n Introduction to
Functional Gramm ar [M].London:A rnold, 2004.
phor in Multise m i otic Texts[J ].Social Se m iotics , 1999
York:Continuu m I nternati onal Publishing Gr oup, 2006. O ’Toole ’s . The L anguage of D isplayed A rt [M].Fairleigh 2
D ickens on University Press, 1994.
Royce, Terry D. Synergy on the Page:Exp l oring I nterse m i 2
otic Comp le mentarity in Page 2based M ulti m odal Text [A].In JASFL O ccasional Papers No . 1[C ].Tokyo:Japan A ss ociati on of Syste m ic Functi onal L inguistics, 1998.
Saussure, F . de . Course in General L inguistics [M].Lon 2
don:Gerald Duck worth &Co . L td . , 1916.
Kress, G . &Leeu wen, Theo Van . M ulti m odal D iscourse:
The M odes and M edia of Conte m porary Co mm unication
[M].London:A rnold, 2003.
nd Kress, G . &Leeu wen, Theo Van (2Editi on ) . Reading
I m ages:The Gramm ar of V isual D esign [M].London:
Routledge, 2006.
Leeu wen, Theo Van . A Multi m odal Pers pective on Composi 2
ti on .
[A ].
I n Ensink, Titus and Christ oph Sauer
收稿日期:2006-12-28【责任编辑 王松鹤】
86