持续控制项目 在Udacity深度强化学习纳米学位计划中，持续控制是学生自己建立的第二个主要项目。 该项目将使用任何基于策略的技术来构建和训练代理，以控制Unity ML代理环境中的Reacher两关节机器人手臂。 目的是以这样一种方式移动手臂，使其终点始终位于环境移动目标的附近。 目标是在平行于基台的平面中以圆形图案随机移动的球体。 它可以顺时针或逆时针移动，并改变其速度。 有时它基本上是静止的。 这不是一个偶然的任务，因此我们将轨迹长度任意限制为一定数量的时间步长，并将其称为情节。 主体