本系统以SpringBoot基础框架整合其他技术设计和搭建而成，选用webmagic框架实现单节点的网络爬虫系统，爬虫的生命周期为链接提取、页面下载、内容抽取、持久化，多线程抓取机制，Redis队列和集合实现网页去重和增量抓取，Redis队列和集合实现网页去重和增量抓取。搜索引擎的索引和搜索系统是利用全文搜索引擎框架（ElasticSearch）构建，由IK分词器实现语句分词地功能，ElasticSearch是一个企业分布式、高扩展、高实时的搜索与数据技术分析处理引擎，可以用于搜索各种文当，它提
