今天小编就为大家分享一篇python 高效去重复 支持GB级别大文件的示例代码，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

如下所示： #coding=utf-8 import sys, re, os def getDictList(dict): regx = '''[\w\~`\!\\#\$\%\^\&\*\(\)\_\-\+\=\[\]\{\}\:\;\,\.\/\\?]+''' with open(dict) as f: data = f.read() return re.findall(regx, data) def rmdp(dictList): return list(set