针对传统梯度方向直方图（HOG）行人检测系统中检测窗扫描区域过大、HOG特征维度大而引起的检测速度慢问题，提出了改进的视频行人检测算法。通过运动信息提取感兴趣（ROI）目标区域，利用Fisher准则和多尺度特性选取具有强分辨力的行人HOG特征从而降低特征维数，结合支持向量机（SVM）检测行人。实验结果表明，本文方法在保证视频行人检测的准确率的同时，有效地提高了行人检测的速率。