针对多媒体互动游戏系统实时互动的要求，提出一种人脸肤色与局部特征相结合的实时人脸检测与跟踪方法。首先对视频图像光线补偿，且帧差法提取出视频中运动目标；然后根据肤色在YCbCr 颜色空间内Cr和Cb分量的特定分布范围建立肤色模型，确定出可能存在人脸的类肤色区域；中值滤波去除噪声后，通过人脸简单几何特征和唇部独有的颜色特征滤除非人脸肤色区域，准确定位人脸在图像中的位置。实际应用表明，该互动游戏系统能快速准确的跟踪玩家的面部位置，通过处理器判断人脸与掉落物体是否对接，打分计数器做出相应打分，实现整个互