租赁信息自动化采集和智能分析系统
本项目主要建造了一套出租房信息自动采集与智能分析系统,转换能自动且高效地整合各平台的数据,对可变数据进行数据分析,挖掘以及房屋预测,并建立一个可视化展示和用户互动体验的平台
主要合并一下几个部分实现
数据采集:采用Scrapy爬虫框架实现
数据清洗:使用Spark + HDFS流处理数据,生成数据集
数据挖掘:使用seaborn,matplot显示
房价预测:数据预处理+使用sklearn包中机器学习模型进行预测
系统展示:
初步:Django框架,数据库: