非参数语义分割算法易受到图像检索精度和语义类别不均衡数据集的影响而导致语义分割精度下降。针对这些问题，提出了一种基于卷积神经网络(CNN)特征和改进超像素匹配的图像语义分割算法。通过CNN学习得到图像特征，降维后进行图像检索，得到精度更高的检索集；利用高斯核密度估计对检索集图像的超像素加权，提升稀少类目标超像素标签的匹配精度，从而提高查询图像的语义分割精度。在SIFTflow和KITTI数据库上的实验结果显示，本文算法的每像素和平均每类语义分割精度均达到最优。