提出一种融合时间及目标之间空间语义信息的视频运动目标交互行为识别方法，即基于目标之间空间语义的变化规律识别其交互行为类别。不同于传统的语义事件建模方法，首先根据运动目标跟踪结果，基于其运动方向以及建立目标之间的空间关系（拓扑关系和方向关系）模型，提出一种提取人目标之间空间语义（前面、后面、背对、面对以及左右）的方法；然后基于空间语义的变化规律建立随机文法规则；最后采用随机文法器识别九种常见的两人交互行为。该方法无需训练样本，实验结果验证了方法的有效性及优越性。