1.一种基于Spark和聚类分析的辨识电力系统不良数据新方法 2.基于Spark云计算平台的改进K近邻算法研究 3.基于Spark的蚁群优化算法 4.基于Spark的大数据清洗框架设计与实现 5.基于Spark的大规模分布式矩阵运算算法研究与实现 共十几篇论文.....

数据仓库设计文档，帮助大家理解及如何设计数据仓库，很不错的一篇论文。专题 lTo 学习体系,能从海量数据中提炼高价值信息,构建自主 (1)源系统结构化数据:源系统按大数据平合的 训练与反馈、可不断从最新数据中调整演化的智能业务供数规范要求提供表数据文本和标志文件。 模型体系。 (2)文件交换区FSA:文件的交换中枢,含源系 以 Hadoop^ Spark为代表的大规模数据处理技术为统结构化数据和半结构化、非结构化数据(主要是外部 超越传统数据库的处理局限性提供了先进的并行计算和数据)。 资源调度

基于Spark的分布式大数据分析算法研究

为高效、快速地处理配电网呈指数增长的数据，提高数据分析、决策能力，文中提出了1种基于大数据分析的配电网辅助决策系统设计。文中根据配电网业务需求特点，分别就流处理与批处理两种数据处理方式进行了分析。利用分布式计算通用框架 MapReduce 分别进行基于 Strom 的VFDT算法的构建，实现了流处理。同时利用 Spark 进行了随机森林算法的构建，实现了批处理。测试结果表明，基于Strom的VFDT算法可有效将数据进行分类，具有更好的分类准确率。此外，基于Spark的随机森林算法具有良好的可扩展