基于Altera浮点IP核实现浮点矩阵相乘运算时，由于矩阵阶数的增大，造成消耗的器件资源虽增加但系统性能反而下降的问题，针对现有IP核存在数据加载不连贯、存储带宽不均匀的不足，提出采用并行化数据存储、依据查找表加载数据和处理数据的方式对IP核进行改进。然后将改进的浮点矩阵运算在FPGA中实现，经过Quartus、Matlab软件联合仿真并进行结果比对，其误差不超过万分之一，且节省了器件资源、提升了系统性能。仿真结果表明该设计可行，有利于提高诸多高性能领域浮点矩阵的运算速度。