文件名称:
WebMagic 0.4.0 发布，Java爬虫框架
开发工具:
文件大小: 263kb
下载次数: 0
上传时间: 2013-11-08
详细说明： 此次更新主要对下载模块进行了优化 并增加了同步下载的API 同时对代码进行了一些重构 一 Downloader部分更新： 升级HttpClient到4 3 1 重写了HttpClientDownloader的代码 #32 在http请求中主动开启gzip 降低传输开销 #31 修复0 3 2及之前版本连接池不生效的问题 #30 使用HttpClient 4 3 1新的连接池机制 实现连接复用功能 经测试 下载速度可达到90%左右的提升 测试代码：Kr36NewsModel java 二 增加同步抓取的API 对于小规模的抓取任务更方便： 1 OOSpider ooSpider OOSpider create Site me setSleepTime 100 BaiduBaike class ; 2 BaiduBaike baike ooSpider get "http: baike baidu com search word word httpclient&pic 1&sug 1&enc u tf8" ; 3 System out println baike ; 三 Site 配置类 增加更多配置项： 支持Http代理: Site setHttpProxy #22 支持自定义所有Http头：Site addHeader #27 支持开启和关闭gzip：Site setUseGzip false Site addStartUrl移到了Spider addUrl 因为作者认为startUrl应该是Spider的属性 而不是Site的属性 四 Spider 主逻辑 进行了一些重构： 重写了多线程逻辑 代码更加易懂了 同时修复了一些线程安全问题 引入了Google Guava API 让代码更简洁 增加配置Spider setSpawnUrl false 此选项为false时 只下载给定的url 不下载任何新发现的url 可以给初始url中附带更多信息：Spider addRequest #29 另外webmagic邮件组成立了 欢迎加入：https: groups google com forum # forum webmagic java">此次更新主要对下载模块进行了优化 并增加了同步下载的API 同时对代码进行了一些重构 一 Downloader部分更新： 升级HttpClient到4 3 1 重写了HttpClientDownloader的代码 #32 在http请求中主动开启gzip 降低传输开销 #31 修复0 [更多] ...展开收缩
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
