从降低误码率和系统复杂度的角度，探讨了基于降低ISI和ICI的小波分组调制结构的优化方法。首先考虑小波分组调制结构本身对调制信号性能的影响，粗选出具有较小ISI和ICI的结构，然后考虑无线信道对调制信号的影响，利用最小均方误差方法，进一步优选出与信道相匹配的树结构，从而实现小波分组调制结构优化的目的。仿真结果表明，所选择的小波分组树结构更加简单，降低了系统的复杂度，同时提高了小波分组调制系统的抗干扰性能。