针对实时、大词汇集、连续的手语视频高效准确地识别，提出了一种基于压缩感知与加速稳健特征(SURF)的手语关键帧提取算法。利用压缩感知将手语视频降维成低维多尺度帧图像特征，通过自适应阈值完成子镜头分割,以处理大量的手语帧数据；运用SURF特征点完成特征匹配，绘制其间的相似度曲线进而提取关键帧。在前期预处理阶段，采用基于HSV空间自适应颜色检测提取手势区域。实验验证，由本文算法提取到的关键帧具有较高的准确性，且算法具备处理大量复杂数据的能力。