毫微微小区的部署对用户和运营商都是有益的。 一方面，它可以用来改善室内覆盖范围，但另一方面，它不可避免地会在由毫微微小区和宏小区组成的异构网络中产生干扰问题。 本文提出了一种基于Q学习的Round Robin资源调度策略。 从吞吐量，丢包率，公平性等方面与常规调度方法进行了比较。 仿真结果表明，该方法可以提高小区边缘用户的吞吐量，并满足服务质量（QoS）的要求。 它还可以实现宏小区和毫微微小区之间的吞吐量的折衷。