模式不稳定指高功率光纤激光随着输出功率提升发生的模式突变，会导致光束质量下降。基于模式耦合模型，对量子噪声、强度噪声等引起的高功率光纤激光模式不稳定出现的阈值功率进行了详细分析和计算。研究结果表明，采用级联抽运方案和部分掺杂方式可以使模式不稳定性出现的阈值功率提高2~5倍。增加初始注入信号光功率、抑制注入信号激光的强度噪声和高阶模成分也可以提高阈值功率。研究结果为高功率光纤激光系统的设计提供一定参考。