WEBCRAWLER 网络爬虫实训项目 1 WEBCRAWLER 网 络 爬 虫 实 训 项 目 文档版本： 1.0.0.1 编写单位： 达内IT培训集团 C++教学研发部 编写人员： 闵卫 定稿日期： 2015年11月20日 星期五WEBCRAWLER 网络爬虫实训项目 2 1. 项目概述 互联网产品形形色色，有产品导向的，有营销导向的，也有技术导向的，但是 以技术见长的互联网产品比例相对小些。搜索引擎是目前互联网产品中最具技 术含量的产品，如果不是唯一，至少也是其中之一。 经过十几年的发展

Twitter搜索引擎 该项目为搜寻到的推文数据搜索引擎提供了搜索引擎，其中包括： Twitter搜寻器，用于将推文另存为JSON数据。 Lucene索引构建器，可提高查询搜索的效率。 Spring后端框架将查询结果链接到前端。 React前端以显示带有推特嵌入组件的相关推文。 演示图片 搜索首页 搜索结果 入门 先决条件 创建一个Oracle帐户并下载 下载 下载 有用的资源： : 正在安装 使用maven打开Java文件（导入pom.xml文件）。 对于React前端，下载已

介绍 TweetScraper可以从获得推文。 它基于构建，无需使用 。 爬网的数据不如API所获得的那么干净，但是好处是您可以摆脱API的速率限制和限制。 理想情况下，您可以从Twitter搜索获取所有数据。 警告：请保持礼貌，并遵守。 安装 安装conda ，您可以从获得它。 经过测试的python版本是3.7 。 安装Seleniumpython绑定： : 。 （注意： KeyError: 'driver'是由错误的设置引起的） 对于ubuntu或debian用户，运行： $