主要介绍了Python利用多进程将大量数据放入有限内存的教程,使用了multiprocessing和pandas来加速内存中的操作，需要的朋友可以参考下

简介 这是一篇有关如何将大量的数据放入有限的内存中的简略教程。 与客户工作时，有时会发现他们的数据库实际上只是一个csv或Excel文件仓库，你只能将就着用，经常需要在不更新他们的数据仓库的情况下完成工作。大部分情况下，如果将这些文件存储在一个简单的数据库框架中或许更好，但时间可能不允许。这种方法对时间、机器硬件和所处环境都有要求。 下面介绍一个很好的例子：假设有一堆表格（没有使用Neo4j、MongoDB或其他类型的数据库，仅仅使用csvs、tsvs等格式存储的表格），如果将所有表格组合在一起