为了克服单模式情感识别存在的局限性，该文以语音信号和面部表情信号为研究对象，提出了一种新型的多模式情感识别算法，实现对喜悦、愤怒、惊奇和悲伤4种人类基本情感的识别。首先，将获取的信号进行预处理并提取情感特征参数，然后利用模糊核聚类算法对其进行聚类分析，即利用Mercer核，将原始空间通过非线性映射到高维特征空间，在高维特征空间中对多模式情感特征进行模糊核聚类分析。由于经过了核函数的映射，使原来没有显现的特征突现出来。实验结果验证了该方法的可行性和有效性。