针对传统Canny边缘检测算法中的边缘连接是通过设定固定阈值完成的，无法自动适应外界检测环境变化的问题，在FPGA上设计实现了一种基于改进Canny算法的实时边缘检测系统。该系统利用OSTU算法（最大类间方差法）自动选取合适的双阈值，能够对摄像头模块采集的视频图像进行实时处理，提取出每一帧图像的边缘，并在显示器上显示。实验结果表明，该系统能在在外界环境发生变化时，不需要做出调整，仍然能够很好的检测到图像的边缘。