本发明提供了一种基于视听特征深度融合的动态情感识别方法，首先对动态情感数据进行预处理，再分别采用三个正交平面的局部二进制模式算法和语谱图提取面部表情模态数据的低层动态情感特征和语音模态数据的低层动态情感特征；然后根据构建的深度卷积神经网络提取面部表情模态数据和语音模态数据的高层动态情感特征；再基于典型相关分析算法将面部表情模态数据和语音模态数据的高层动态情感特征进行融合，得到情感融合特征；最后采用Softmax回归模型对情感融合特征进行识别，得到动态情感类别。本发明的有益效果是：提高动态情感类别的识别率。 |
