Spacy-极端 如何将spaCy用于超大文件而不遇到内存问题的示例 spaCy的内存问题 编辑： 中修复了运行spaCy管道的内存问题。 不过，我将使该存储库保持在线状态，作为有关如何有效地分块数据的教育性代码段。 本节的其余部分可以忽略。 SpaCy是一种流行的，功能强大的NLP工具，可以处理文本并从中获取您可能需要的几乎所有信息。 不幸的是，在对30GB以上的单个文件进行多处理时，我开始遇到问题：内存使用量一直在增长。 即使使用，问题仍然存在。 “错误修复”不可用，因为尚不清楚内存泄漏的