WEBCRAWLER 网络爬虫实训项目 1 WEBCRAWLER 网 络 爬 虫 实 训 项 目 文档版本： 1.0.0.1 编写单位： 达内IT培训集团 C++教学研发部 编写人员： 闵卫 定稿日期： 2015年11月20日 星期五WEBCRAWLER 网络爬虫实训项目 2 1. 项目概述 互联网产品形形色色，有产品导向的，有营销导向的，也有技术导向的，但是 以技术见长的互联网产品比例相对小些。搜索引擎是目前互联网产品中最具技 术含量的产品，如果不是唯一，至少也是其中之一。 经过十几年的发展

项目2 项目描述 Project 2的分析包括使用大数据工具来回答团队在流式Twitter数据上创建的问题。 使用结构化流方法以及使用DataFrames和DataSet进行运行分析，回答了以下一系列问题。 根据每个问题的上下文来确定从Twitter收集哪种类型的流数据，是使用采样流，过滤流还是用户查找。 每个问题的输出和分析都保存为jarfile，最终呈现的结果包括在结果发现的深度分析中。 问题如下：1）什么是目前引用最多的国家？ 会根据推文的来源国家/地区进行更改吗？ 居民与外国人在推特上进

项目2：使用Twitter数据进行大数据分析