为了降低新一代视频编码系统的复杂度，提出了基于图像相关性和最优模式概率统计的帧内预测优化算法，降低了视频编码的复杂度。首先，介绍了新一代视频编码标准(HEVC)帧内预测算法中的Angular预测模式、Planar预测模式和LM 预测模式，以及帧内率失真代价最优化(RDO)计算方法。本文采用了绝对误差和(SAD)作为代价函数对残差进行处理，初步筛选得到最佳候选预测模式，再利用简化率失真代价模型与最有可能预测模式(MPM)判断得到RDO候选预测模式，利用RDO得到最佳的预测模式。算法在HEVC测试模