本文给大家分享的是使用python实现多进程导入CSV文件数据到MySQL的思路方法以及具体的代码分享，有相同需求的小伙伴可以参考下

前段时间帮同事处理了一个把 CSV 数据导入到 MySQL 的需求。两个很大的 CSV 文件， 分别有 3GB、2100 万条记录和 7GB、3500 万条记录。对于这个量级的数据，用简单的单进程／单线程导入 会耗时很久，最终用了多进程的方式来实现。具体过程不赘述，记录一下几个要点： 批量插入而不是逐条插入 为了加快插入速度，先不要建索引 生产者和消费者模型，主进程读文件，多个 worker 进程执行插入 注意控制 worker 的数量，避免对 MySQL 造成太大的压力 注