三维显示以其直观自然的表现方式获得了广泛关注,三维交互技术也随之迅猛发展。提出了一种基于红外结构光、单摄像头的实时交互系统。红外结构光投影对空间进行编码,摄像头实时采集用户手部红外图像,经由OpenCV实现的图像处理算法比较两帧图像,获得结构光在手部移动的信息,从而实现对包括深度方向在内的三个维度的平移、缩放和旋转动作等用户交互动作的解析,并导入三维显示设备,对三维显示的虚拟物体进行实时控制。利用商用CMOS摄像头和红外LED搭建了交互样机。实验结果证明,该方案能以较低成本实现实时徒手三维交互。