【MVCP】基于解胶葛体现学习和跨模态-上下文关联发掘的多模态情绪分析

多处可看出与同专栏下的DCCMCI很像

  abstract

多模态情绪分析旨在从多模态数据中提取用户表达的情绪信息，包罗语言、声学和视觉线索。
然而，多模态数据的异质性导致了模态分布的差异，从而影响了模子有用整合多模态互补性和冗余性的本领。别的，现有的方法通常在得到表征后直接合并模式，忽略了它们之间潜伏的情绪干系性。
为了办理这些挑衅，我们提出了一个多视图协同感知（MVCP）框架，用于多模态情绪分析。该框架重要由两个模块构成：多模态解胶葛体现学习（MDRL）和跨模态上下文关联发掘（CMCAM）。
MDRL模块采取一个连合学习层，包罗一个通用编码器和一个专用编码器。这一层将多模态数据映射到一个超球体，学习每个模态的通用和专有体现，从而减轻由模态异构引起的语义差距。
为了进一步弥合语义差距并捕获复杂的多模态干系性，CMCAM模块使用多种留意机制来发掘跨模态和上下文情绪关联，产生具有丰富多模态语义交互的连合体现。在此阶段，CMCAM模块仅发现共同体现之间的干系信息，以保持差异模态的独占体现。
最后，采取多使命学习框架实现单模态使命间参数共享，进步情绪猜测性能。在MOSI和MOSEI数据集上的实行结果证实了该方法的有用性。
intro

情绪分析最初是指通过自然语言处置惩罚和文本发掘方法，辨认和提取主观文本中包含的观点和情绪信息[1,2]。然而，TikTok、微博、YouTube、Twitter等多媒体交际网络的繁荣，将情绪分析的研究对象从文本扩展到了多媒体内容[3]。在短视频爆炸的本日，从包含笔墨、音频和视觉数据的多媒体内容中发掘态度、观点和情绪信息的多模态情绪分析开始受到关注[4]。多模态情绪分析具有紧张的意义，由于它可以为经济和社会范畴的很多干系应用提供强有力的支持，如民意分析、辅助决议、风险管理和市场猜测bb0。因此，越来越多的研究职员开始投身于这一有前途的范畴。
深度学习方法是如今多模态情绪分析的重要办理方案[6,7]。这些方法试图通过表征学习、模态内和多模态关联发掘和多模态融合在异构多模态数据和情绪取向之间建立可靠的映射。与仅使用文本内容[8]的单模态情绪分析相比，多模态情绪分析的上风在于它可以使用视听数据中包含的情绪信息来构建更好的情绪分析模子[9,10]。
然而，多模态情绪分析也面临着更多的挑衅，特别是在多模态表征学习和多模态融合方面。比方，多模态数据的异质性导致每个模态都有本身独特的特性体现。这些特性体现的多样性增加了差异模态之间数据直接集成的复杂性。别的，多模态数据的异质性也导致了模态分布的不一致性，使得模子在处置惩罚差异模态时难以得到分身共性和个性的多模态体现。因此，多模态数据的异质性极大地影响了情绪分析模子的性能[5,12]。别的，人类可以或许感知的高级语义信息与从原始数据中提取的低级特性之间存在很大差距，多媒体内容的多样性进一步加深了多模态情绪分析中的这种语义差距。因此，跨语义间隙从异构多模态数据中发掘主观情绪信息已成为一个困难。
我们的工作重点是办理模式异质性标题，实现差异模式的有用整合和使用。得到精良的表征是包管多模态使命性能的关键。在多模态情绪分析中引入了范畴分离的头脑[13]，通过将表征划分为子空间来得到符合的模态表征：包含多模态数据潜伏共性的公共表征和包含每个模态唯一信息的专属表征。然而，大多数现有的研究倾向于直接融合模式的表征，而忽略了它们之间潜伏的情绪干系性。
多模态情绪分析不是一个简单的分类标题，它集成了来自多模态数据的代表性信息。其目的是彻底发现跨模态关联，并在表征和情绪结果之间构建可靠的映射关系。然而，由于多模态数据的不对齐特性，很难有用地发现跨模态上下文关联。别的，子空间划分在得到每个模态体现的过程中，粉碎了原始数据内部的内涵干系性。这反过来又增加了干系性发掘使命的复杂性。因此，有用地使用不结盟模态之间的潜伏情绪接洽，同时获取每种模态的共同和专属表征仍然是一项困难的挑衅。
基于范畴分离的多模态情绪[14]分析将每个模态投影到公共和专有的子空间中举行表征学习，并在举行情绪分类之前简单地重组子空间表征。思量到子空间划分增补了公共空间的异构性差距，我们将公共体现和排他体现区别对待，在保持差异模态的排他体现的同时，只发掘公共体现之间的干系信息。
我们还盼望捕获多模态之间的跨模态情绪关联以及模态内部和模态之间的上下文情绪关联，以加强多模态融合和互动。
•我们提出了一个多视角协同感知（MVCP）框架，从表征约束、关联发掘和多使命相助的角度举行多模态情绪分析。它使用多模态数据的共性和排他性信息来弥合异构性差距，使用多模态数据中潜伏的关联信息来缩小语义差距，使用多使命学习机制进一步实现跨模态使命协作。
•我们提出