作为语言学与认知科学相融合的一个学科分支，认知语言学在研究方法上的实证趋势近年来逐渐明显。其中，多模态研究的应用成为热点话题。所谓多模态研究，是指通过多种技术手段记录人际交流过程中不同类型的模态数据，以此为基础对语言认知模式和意义发生机制展开多维度的探究，具体包括准备实验材料、收集声音和录像数据、转录和编码以及统计和分析等四个操作步骤。该方法不仅把语言模态视作人类认知世界的方式之一，而且认为图像、声音、手势、音乐等其他模态也是意义建构的重要手段。在聚焦一些主要议题之外，多模态研究以自身优势践行了认知语言学的理论诉求。
多模态研究四大主题
基于运动事件的语言类型研究。运动事件是人类语言的共有范畴，不同语言的说话者面对相同的运动事件往往有不同的表征模式。研究者让受试观看图片或视频并用语言或手势描述故事情节，然后把描述过程用录音或录像的方式记录下来做数据分析，可以发现多模态表征方式与语言类型之间的关联。泰尔米和斯洛宾通过对口语、书面语、手势等多模态数据的分析，把人类语言区分为卫星框架语言、动词框架语言和均等框架语言等三种类型。此外，关于语言类型特征的形成、发展和习得问题也可以在多模态视角下进行。
隐喻和转喻研究。早期对隐喻和转喻的研究主要限于语言层面，而多模态隐喻和转喻研究最近几年才兴起，研究对象涵盖了电视广告、政治漫画、公共演讲、儿童绘本等多种媒介。研究者通过对不同语篇所呈现的文字、图片、音乐、表情、手势等多种模态资源及其互动方式进行解析，可以发现源域和目标域在不同模态中的典型表现，从而阐明概念隐喻的含义、实现方式和创新本质。多模态隐喻通过视觉、听觉、语言等多种模态的协同和互动，旨在验证隐喻不仅是语言表达的方式，也是人类思维的方式。同时，该方法将象征看成一种特殊的转喻，能够建立体验基础、文化维度和语篇异质三位一体的认知机制，比如儿童绘本主要以视觉转喻触发故事角色与读者之间的互动，多模态认知机制更加显著。
言伴手势和手语研究。言伴手势是说话者在人际交流中无意识发出的手部动作，也是语言表达时辅助思维的工具。列文森认为，手势也体现了语言对思维的影响。多模态研究显示，不同参考框架的说话者所使用的言伴手势在幅度、频率、方向等方面存在明显差异，由此验证了言伴手势的系统性以及与语言表征的一致性。手语是聋哑人在交流时所使用的一套手势编码系统，具有特殊的形态、音位、语义、句法等特征。目前，学者们主要基于多模态语料库研究言伴手势和手语在传递信息过程中的认知特征，以及与口语的概念化方式之间的差异。当然，隐喻性也是其特征之一。
语言习得研究。一是聚焦儿童在自然条件下的语言使用情况，然后通过多阶段的对比分析发现儿童语言习得的规律。二是根据具体目标记录母语和外语说话者的语言表达特点，然后通过共性和差异来判断一语习得和二语习得之间的相互迁移作用。三是关注同一语言不同年龄的说话者在语言表征模式上的差异，借此考察语言类型的发展规律。
多模态研究有三个优势
体现基于使用的语言观。认知语言学认为语言知识和语言结构都来源于语言使用，任何语言单位的产生都是用法固化的结果。因此，语言研究的对象应该是真实使用的素材，而非内省得出的句子。多模态研究旨在客观记录现实世界中使用口语、言伴手势和手语等不同模态手段的交际过程，能够真实反映言语事件的本来面貌。而且，以音频、视频和文字等真实语料集成的多模态语料库成为重要的数据来源，为研究者检索、加工和分析语料提供了极大便利，也是目前较为理想的研究范式。
倡导意义的社会属性。语言是人类社会交往的重要特征，因而意义不仅是个体的认知结果，而且受到社会和文化因素的制约。形式语言学把意义看作个体行为，而认知语言学主张意义具有百科知识性和社会化特征。多模态研究关注说话者通过多种感官与社会进行信息交换的情况，体现了社会化和语境化的意义观。对意义的社会属性的重视也催生了认知社会语言学这一新兴研究领域，以实现认知研究与社会维度的有机结合。
追求人类普遍的认知规律。人类的语言能力是认知能力的组成部分，而认知能力对人类的言语生成和理解有重要影响。认知语言学中框架、识解、意象图式等概念都体现了两者的紧密关联。多模态研究对语言和手势的整体观照，能够更好地描述语言、思维和身体之间的互动关系，也为认识人类普遍的认知规律提供了新的视角。比如手势可以识解为以容器或空间为具象的意象图式，而且建立在人的身体体验基础上，这说明意象图式和体验性都是人类认知的普遍特征。
多模态研究面临挑战
数据收集和处理具有不可控因素。在收集实验所需的音像资料时，研究者会因主观因素进行无意识的筛选，容易造成部分数据的丢失而影响结论的科学性。而且，研究设计的误差有时候会导致难以收集到预期的多模态数据。研究结论需要其他数据的支撑。认知语言学的多模态研究使得系统性验证语言学假设成为可能。然而，人类的认知活动还受到社会、心理、脑神经等因素的制约，因此相关结论仍需要心理语言学、神经语言学等实验数据的支撑。作者：王中祥
作者单位：浙江万里学院外语部
来源：中国社会科学网-中国社会科学报 9月
本文转自：应用语言学通讯
相关阅读
观点 | 语言与视觉的跨模态智能
会讯 | 第四届特殊人群话语及其认知神经机制研究求索论坛(一号通知)
宗成庆：人类语言技术展望
张德禄教授的多模态著作获高等学校科学研究优秀成果奖一等奖
多模态数据助推人文学科研究：国际数字人文进展研究
同济大学语言学与多模态符号学研究所介绍
语义鸿沟、异构鸿沟、数据缺失，多模态技术如何跨过这些坎？
第三届特殊人群话语及神经机制研究暨多模态研究讲习论坛成功举办
“多模态与特殊人群话语研究”系列论坛及丛书简介
观点 | 赵秀凤：多模态反讽与概念隐/转喻的互动整合——以图文反讽为例
观点 | 张德禄、胡瑞云： 多模态话语建构中的系统、选择与供用特征
观点 | 顾曰国：多模态感官系统: 天官、仿人机器人、“修辞即做人”新释
市北GMIS | 腾讯优图贾佳亚：人工智能多模态的未来
学术观点 | 多核并行架构：多模态研究的范式、路径及领域问题之辨
前沿科普 | 多模态语义理解是机器能否实现智能的关键
