手语特征提取的传统算法仅仅依靠底层特征完成识别，难以获得高层语义特征，进而对手语理解产生分歧。针对这一问题，将图像语义分析的思维引入手语识别研究中，提出一种优化全卷积神经网络算法。采用全卷积神经网络提取手语图像的语义特征，并通过判别随机场进行语义标注做后期平滑处理，恢复像素间的细节信息，从而完成手语识别。实验结果表明，所提出的算法具有较强的稳健性，能有效学习到语义特征。与传统算法对比分析表明，此方法能精准的识别到手语，其平均识别率达97.41%。