WEBCRAWLER 网络爬虫实训项目 1 WEBCRAWLER 网 络 爬 虫 实 训 项 目 文档版本： 1.0.0.1 编写单位： 达内IT培训集团 C++教学研发部 编写人员： 闵卫 定稿日期： 2015年11月20日 星期五WEBCRAWLER 网络爬虫实训项目 2 1. 项目概述 互联网产品形形色色，有产品导向的，有营销导向的，也有技术导向的，但是 以技术见长的互联网产品比例相对小些。搜索引擎是目前互联网产品中最具技 术含量的产品，如果不是唯一，至少也是其中之一。 经过十几年的发展

针对云计算平台的分布式、虚拟化等特点，从深度包检测技术的算法原理和实现框架两方面入手，研究如何将深度包检测技术引入云计算平台，提出深度包检测系统在云计算环境中的系统框架；其根据云后台硬件资源的异构性来智能地协调配置，并协作均衡处理和防御重复攻击，提高了整体效率；实验结果表明云计算框架比传统框架的深度包检测系统有效性和在时间、空间上的性能优势。