big_data_project:大数据项目案例

大数据项目 使用的工具 - Pyspark，SQL 过程 - 数据预处理- 数据集包含FIFA 2019足球运动员的详细信息。预处理包含以下步骤。 删除数据集中不必要的列，符号。 将值属性转换为浮点值 使用nib-max归一化进行特征缩放 删除包含空值的行 数据分析和数据可视化- 寻找总体球员评级，年龄和球员潜力与每个球员的市场价值之间的相关性。 查找具有最大相关性的两列。 观察到的最大相关性是针对总体玩家评级和每个玩家的市场价值。 绘制总体玩家评分和每个玩家的市场价值以及所需的

Big_Data_Project-伪造新闻检测 在这个项目中，我们展示了使用机器学习算法进行文本分类。 我们致力于对给定的新闻文章是假的还是真实的进行分类。 数据清理和预处理： 删除了文本中的特殊字符拼写检查了所有文档删除了停用词对文档进行矢量化处理。 向量化 对于矢量化，我们使用了-计数矢量化器，TFIDF矢量化器，哈希矢量化器。 分类 对于分类目的，我们使用了：多项朴素贝叶斯，支持向量机（LinearSVC），PassiveAgressiveClassifier。 我们比较了矢量化器和分类