本文在深入分析难过过搜索引擎基本原理、架构设计和核心技术的基础上,结合可扩展的scrapy框架、开源搜索引擎lucene的实现原理以及多种分词技术,设计并实现了一个可扩展可复用的小型搜索引擎文本预处理系统。

期末复习比较忙过段时间来专门写scrapy框架使用，今天介绍如何用python生成词云，虽然网上有很多词云生成工具，不过自己用python来写是不是更有成就感。 今天要生成的是励志歌曲的词云，百度文库里面找了20来首，如《倔强》，海阔天空是，什么的大家熟悉的。 所要用到的python库有 jieba（一个中文分词库）、wordcould 、matplotlib、PIL、numpy。 首先我们要做的是读取歌词。我将歌词存在了文件目录下励志歌曲文本中。 现在来读取他 #encoding=gbk