基于深度学习的微表情识别方法综述

图1.根据提取特征的类别,微表情识别算法可以分成五个类别:空间深度学习方法、时序深度学习方法、时空深度学习方法、空间上下文学习方法和混合深度学习方法。

最近,深度学习在微表情识别算法方向有了很多新的进展。这篇论文将对基于深度学习的为表情识别进行研究和总结。我们还将现有的微表情识别数据库进行了融合,形成了一个新的融合数据库;并提出了一个基于深度学习的为表情识别基线算法,并在融合数据库上进行了验证。数据库和代码已经共享:https://github.com/wenjgong/microExpressionSurvey.

论文链接
融合数据库和代码链接

基于元学习的多模态融合网络(Meta-MMFNet)在微表情识别上的应用

图2.基于元学习的多模态融合网络Meta-MMFNet (Meta-learning based Multi-model Fusion Network) 整体架构图。

尽管微表情识别在刑侦、医学临床等方向都有广泛的应用,但是因为缺乏训练数据及训练数据类间不均衡等问题,微表情自动识别仍然是一个非常有挑战性的问题。这项工作提出了一种基于元学习的多模态融合网络(简称Meta-MMFNet)解决这些问题。本文中提出的方式采用了基于度量的元学习框架,这种框架是专门为了解决少数据学习而设计的并且可以很方便地进行模型级融合。提出的方法融合了帧差和光流特征,然后深度学习网络从融合的特征中进一步提取了深度特征,最后将微表情和宏表情模型进行融合得到最终的估计结果。本方法在四个数据库上达到很好的效果。代码已经共享:https://github.com/wenjgong/meta-fusion-based-method。

论文链接
代码链接