社交网络数据抓取，以及CRM系统 基于Java实现。 项目内容 项目简介 项目起因 本项目主要服务于社交网络数据抓取替代架构。 项目框架 sns-dao ：数据接口层 sns-hdfs ：HDFS服务层 sns-parser ：页面解析层 sns-core ：系统sns-core层 sns-web ：API接口服务层 备注：框架持续更新中。 API文档 备注： API文档统一放在公司的wiki上。 项目架构 解析器：用于页面解析。 MySQL：用于存储基本爬虫数据。 Redis：用于数据去重