WEBCRAWLER 网络爬虫实训项目 1 WEBCRAWLER 网 络 爬 虫 实 训 项 目 文档版本： 1.0.0.1 编写单位： 达内IT培训集团 C++教学研发部 编写人员： 闵卫 定稿日期： 2015年11月20日 星期五WEBCRAWLER 网络爬虫实训项目 2 1. 项目概述 互联网产品形形色色，有产品导向的，有营销导向的，也有技术导向的，但是 以技术见长的互联网产品比例相对小些。搜索引擎是目前互联网产品中最具技 术含量的产品，如果不是唯一，至少也是其中之一。 经过十几年的发展

在教程《一套完整的云计算产品需要解决哪些问题》中讲到，一套完整的云计算产品包含虚拟化平台、管理工具和交付三部分。注意，这里讨论的是构建云计算的组件，而不是云计算服务，云计算服务提供商需要采用云计算组件来构建云端。 目前商业的云计算组件不多，但云计算服务商却很多。本节对当下比较有影响的商业云计算组件做一个简单介绍，不过这些公司发布了很多组件，却很少讲明这些组件在整个云计算解决方案中处于什么地位、完成什么任务，所以要搞清楚一家企业的云计算组件并非易事。通信协议除 HTTP/HTTPS 外，各个公司都

目前，最主要的云服务产品是 IaaS 虚拟机，一套完整的对外出租虚拟机的 IaaS 云计算解决方案必须解决下面这个问题： 如何运行和管理大量的虚拟机并让远方的用户自助使用这些虚拟机？ 问题中的三个动词“管理”、“运行”和“使用”意味着一个 IaaS 云计算系统包含以下三部分，如图 1 所示。  图 1  IaaS 云计算解决方案 1）虚拟化平台（硬件、虚拟软件）——解决如何运行虚拟机的问题。 2）管理工具——解决如何管理大量虚拟机的问题，包括创建、启动、停止、备份、迁移虚拟机，以及计算资源