WEBCRAWLER 网络爬虫实训项目 1 WEBCRAWLER 网 络 爬 虫 实 训 项 目 文档版本： 1.0.0.1 编写单位： 达内IT培训集团 C++教学研发部 编写人员： 闵卫 定稿日期： 2015年11月20日 星期五WEBCRAWLER 网络爬虫实训项目 2 1. 项目概述 互联网产品形形色色，有产品导向的，有营销导向的，也有技术导向的，但是 以技术见长的互联网产品比例相对小些。搜索引擎是目前互联网产品中最具技 术含量的产品，如果不是唯一，至少也是其中之一。 经过十几年的发展

基于强化学习的云工作流调度算法

随着大数据时代的来临，工作流应用开始由原有的基础设施转移到更加高效、可靠、廉价的云平台上。本文针对现有基于强化学习的云工作流调度算法收敛速度慢的问题，详细分析云工作流任务的执行流程，设计了一种细粒度的云工作流系统模型，提出了一种结合自适应自然梯度高斯过程回归和强化学习的云工作流调度算法。算法采用强化学习的任务分配算法解决虚拟机间负载均衡问题，并通过自适应自然梯度高斯过程回归加速最优策略的生成。在WorkflowSim平台下进行了验证，实验结果证明了本文算法在一定程度上加速了最优策略的收敛。