ZH ·
🌏 English 情绪识别领域最新进展与研究趋势综述
本文整理了近期情绪识别(Emotion Recognition)领域的代表性研究成果,涵盖了从多模态推理、语音与视觉生成到脑电分析及伦理合规等多个前沿方向。
核心研究进展
1. 多模态情感识别与推理
- Lantern 框架:Han Zhang 等人提出 Lantern,通过结合大语言模型(LLMs)与多模态特征,引入感受野注意力加权模块,显著提升了情感分类的准确性。
- 自适应门控融合 (AGFN):Han Wu 等人针对模态质量不均(噪声、缺失)问题,提出 AGFN,通过双门机制动态调整特征权重,增强了模型的鲁棒性。
- 多模态综述:Yuntao Shou 等人发布了 MLLMs 在情感识别与推理领域的综述,系统整合了当前跨模态情感分析的研究现状。
2. 语音情感识别(SER)与生成
- 后门攻击研究:Alexandrine Fortier 等人首次系统研究了 语音语言模型的后门攻击,指出预训练编码器是安全防护的最脆弱环节。
- 生成式推理:Wenyu Zhang 等人探索了 基于多任务 AudioLLM 的情感解释方法,不仅提升了识别准确率,还增强了逻辑连贯性。
- 实时面部动画:Jiye Lee 等人开发了 基于音频的实时 3D 面部动画系统,通过扩散模型实现低延迟的社交临场感支持。
3. 脑电(EEG)与生理信号分析
- 低成本 EEG 应用:Annemarie Hoffsommer 等人利用 视觉 Transformer 处理低成本 EEG 数据,证明了少量通道即可实现高性能情感分类。
- 生理信号编辑:Tianwen Zhou 等人提出 基于潜在表示的视频心率编辑框架,在保障隐私的同时实现了精确的生命体征调制。
4. 情感偏好、伦理与合规
- 情感偏好建模:Zheng Lian 等人提出 EmoPrefer 框架,探索了 LLM 对人类情感偏好的理解能力。
- 伦理与隐私:Nicola Fabiano 探讨了 情感计算在 GDPR 和欧盟 AI 法案下的合规挑战,强调了隐私保护与 AI 性能之间的平衡。
研究趋势分析
- 多模态融合成为主流:研究正从单模态向多模态(语音、视觉、文本、EEG)协同建模演进,大语言模型(LLMs)在其中的推理作用愈发显著。
- 生成式推理与可解释性:情感识别正从简单的分类任务转向生成式推理,模型不仅需输出标签,还需提供合理解释。
- 零样本与迁移学习:为解决标注数据稀缺问题,域适应和零样本学习技术(如基于闭源模型的标签融合)成为研究热点。
- 隐私保护与合规性:随着相关法规完善,如何在保障用户隐私的前提下进行情感计算,已成为学术界与工业界共同关注的焦点。
- 轻量化与便携应用:针对脑电等生理信号的研究,正致力于降低设备依赖,推动情感技术在便携式设备上的落地。