//5.7——5.13

1.文章拟解决的问题

         旨在解决从细微短暂的面部变化中提取到有效特征,克服无关动作所带来的干扰,并且解决数据集不足和样本不平衡所带来的问题。

2.文章的创新点
  • 提出了一种新的微表情识别框架——MER-Supcon。基于监督对比学习,在噪声分布下提取到关键的面部特征,减少无关因素对识别因素所带来的影响。

  • 引入了一种双端微表情获取策略,考虑到了微表情从开始到顶峰以及偏移到顶峰的变化。有助于扩展数据集,提供更丰富的面部特征信息,并且减轻了因为微表情捕捉不及时所带来的影响。

  • 采用监督对比学习方法。通过标签信息来避免正样本误判的问题,使相同类别的图像在嵌入空间时候更加的紧密,分类的准确性得以提升。

3.文章采用的技术
  • 视频运动放大技术。放大视频序列当中的运动矢量,并且通过叠加权重达到增加视频中细小运动的表现,便于提取后续的特征。

  • 光流法。根据亮度的恒常性质以及连续运动或小幅度运动的两个假设,计算像素之间的变化来描述面部的运动信息。采用融合深度卷积网络”Flownet 2.0“来获取光流图,从而捕捉到面部的细小运动。

  • 监督对比学习。帮助模型在噪声分布下学习到可靠的微表情表示,提升分类的准确性。

  • 数据增强模块。运用随即变换对输入帧进行处理,比如说水平翻转、灰度转换等,生成正负样本对,使模型能够学习到数据中固有的结构特征。

4.文章的结论及展望
4.1结论

        MER-Supcon通过结合视频运动放大技术和监督对比学习,解决了微表情中所存在的挑战。其在CASME II与SAMM数据集上取得了比较高的准确率,以及不错的F1分数,证实了该方法的有效性。

4.2未来展望

        通过进一步探索更加有效的数据增强策略,生成更多的训练样本,减少噪声的干扰,达到环节因为微表情数据集有限导致的过拟合。优化监督对比学习算法,尝试引入不同的损失函数或者调整模型架构来提高质量。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐