为了解决被动式双目测距系统中双目摄像头光轴对准误差较大、图像匹配精确度较低、计算速度慢等问题，提出了一种基于硬件加速稳健特征（SURF）算法的自校准双目测距系统。该方案采用位置敏感探测器与伺服电机作为双目摄像头光轴自校准平台，利用Zynq SoC处理器对SURF算法进行硬件加速，以实现两幅图像的特征匹配，从而达到精确、有效、自主的被动测距效果。实验表明本文方案采用位置敏感探测器可以有效地校准双目摄像头至同一平面位置，同时硬件SURF算法匹配图像的精确度高，速度快，满足被动测距系统的需求。