此存储库包含我进行的玩具实验，目的是测试autoregressive动作空间与multi-label动作空间。 结论： 自回归动作空间更好，因为它们可以更好地了解各个动作之间的依赖性。 自回归动作空间进行推理所需的时间更长（约40％），但是通过大大提高的采样效率来弥补这一不足。 实际上，至少使用我尝试的设置，多标签方法无法解决此问题（尽管可能仍然可行）。 注意：这项工作在4小时内完成，没有进行单元测试或大量重复试验。 用一点盐吃这个建议。