您好,欢迎光临本网站![请登录][注册会员]  

搜索资源列表

  1. GuozhongCrawler1.21API文档

  2. guozhongCrawler的是一个无须配置、便于二次开发的爬虫开源框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。模块化设计完全面向业务提供接口,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线程抓取,分布式抓取,并支持自动重试,定制执行js、自定义cookie等功能。在处理网站抓取多次后被封IP的问题上,guozhongCrawler采用动态轮换IP机制有效防止IP被封。另外,源码中的注释及Log输出全部采用通俗易懂的中文。让初学者能有更加深刻的理
  3. 所属分类:Java

    • 发布日期:2015-06-08
    • 文件大小:693248
    • 提供者:u012572945