主要介绍了Python如何处理大数据？3个技巧效率提升攻略，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

如果你有个5、6 G 大小的文件，想把文件内容读出来做一些处理然后存到另外的文件去，你会使用什么进行处理呢？不用在线等，给几个错误示范：有人用multiprocessing 处理，但是效率非常低。于是，有人用python处理大文件还是会存在效率上的问题。因为效率只是和预期的时间有关，不会报错，报错代表程序本身出现问题了~ 所以，为什么用python处理大文件总有效率问题？ 如果工作需要，立刻处理一个大文件，你需要注意两点： 01、大型文件的读取效率 面对100w行的大型数据，经过测试各种文件读