提出一种新的局部时空特征描述方法对视频序列进行识别和分类。结合SURF和光流检测图像中的时空兴趣点，并利用相应的描述子表示兴趣点。用词袋模型表示视频数据，结合SVM对包含不同行为的视频进行训练和分类。为了检测这种时空特征的有效性，通过UCF YouTube数据集进行了测试。实验结果表明，提出的算法能够有效识别各种场景下的人体行为。