以低成本机器人Rovio WowWee作为下位机平台，通过上位机编程，实现对单目视觉图像和红外数据的在线解析，辨识指定物体，基于前向回溯一致性误差确定待追踪的点，构建视觉追踪机器人系统；并引入在线学习方法，使用追踪、学习和检测算法框架提升了机器人目标追踪的性能。通过PID对机器人进行伺服控制。三组实验初步验证了所提系统的可行性。实验使用C++在Linux下编程实现，并在Github上开源，对科研及市场应用具有一定参考价值。