您好,欢迎光临本网站![请登录][注册会员]  

搜索资源列表

  1. Go爬虫框架go_spider.zip

  2. 本项目基于golang开发,是一个开放的垂直领域的爬虫框架,框架中将各个功能模块区分开,方便使用者重新实现子模块,进而构建自己垂直方方向的爬虫。 本项目将爬虫的各个功能流程区分成Spider模块(主控),Downloader模块(下载器),PageProcesser模块(页面分析),Scheduler模块(任务队列),Pipeline模块(结果输出); 执行过程简述: Spider模块从Scheduler模块中获取包含待抓取url的Request对象,启动一个协程,一个协
  3. 所属分类:其它

    • 发布日期:2019-07-16
    • 文件大小:51200
    • 提供者:weixin_39841365