今天小编就为大家分享一篇解决python读取几千万行的大表内存问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

Python导数据的时候，需要在一个大表上读取很大的结果集。 如果用传统的方法，Python的内存会爆掉，传统的读取方式默认在内存里缓存下所有行然后再处理，内存容易溢出 解决的方法： 1）使用SSCursor(流式游标)，避免客户端占用大量内存。(这个cursor实际上没有缓存下来任何数据，它不会读取所有所有到内存中，它的做法是从储存块中读取记录，并且一条一条返回给你。) 2）使用迭代器而不用fetchall,即省内存又能很快拿到数据。 import MySQLdb.cursors conn