注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. Webmagic0.5.2源码及jar包

  2. Webmagic0.5.2源码及所有依赖jar包，0.5.2是目前最新的版本，作者已于一年前停止更新。

  3. 所属分类：Web开发

    • 发布日期：2015-09-11
    • 文件大小：7340032
    • 提供者：zzlh110

  1. Java网络爬虫源码

  2. 由于项目需要，特研究了一段时间关于java爬虫的相关技术，发现一个比较好用的爬虫框架--WebMagic，只需少量代码即可实现一个爬虫，本项目就是基于它的一个简单实现，导入项目即可运行，项目只有两个类，一个用于抓取，一个用于处理抓取到的数据，存入数据库或导出到excel等(只打印到控制台，后续自己发挥)，简单吧，代码真的很少

  3. 所属分类：Java

    • 发布日期：2016-12-23
    • 文件大小：11534336
    • 提供者：qy1989525

  1. webmagic源码

  2. 爬虫框架webmagic的源码

  3. 所属分类：Java

    • 发布日期：2017-01-05
    • 文件大小：250880
    • 提供者：happyterry

  1. 最简单的爬虫-WebMagic 0.73 源码

  2. 最简单的爬虫设置，最好二次开发的爬虫 WebMagic 框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。作为爬虫框架，它使用httpclient作为获取网页工具、使用Jsoup作为分析页面定位抓取内容、使用ExecutorService线程池作为定时增量抓取、Jdiy作为持久层框架。不熟悉这些名词的同学

  3. 所属分类：Java

    • 发布日期：2017-12-04
    • 文件大小：356352
    • 提供者：aburta

  1. webmagic0.7.3源码和jar包

  2. 代码是我用maven下载的，官方的eclipse版本的缺少依赖包，源码我自己改过一点，修改了selenium 集成了 chrome 和pantomjs 里边还有我爬虫的例子。

  3. 所属分类：Java

    • 发布日期：2017-12-28
    • 文件大小：67108864
    • 提供者：lyglcheng1

  1. WebMagic源码

  2. WebMagic是一个优秀的爬虫框架。webmagic-WebMagic-0.7.3.zip 当前官网最新版本 。爬取暴走：https://blog.csdn.net/diehuang3426/article/details/79903494

  3. 所属分类：Java

    • 发布日期：2018-04-13
    • 文件大小：313344
    • 提供者：diehuang3426

  1. webMagic源码

  2. webMagic最新源码，包含webmagic-core、webmagic-extension、webmagic-samples、webmagic-saxon、webmagic-scr ipts、webmagic-selenium模块，供你学习，以及所有需要的jar包。

  3. 所属分类：Java

    • 发布日期：2018-04-25
    • 文件大小：5242880
    • 提供者：yuan874618942

  1. 知识库管理系统（源码+数据）

  2. 知识库管理系统，包含源码和数据库。通过maven构建，使用git版本控制和团队合作，采用springmvc+mybatis框架，集成Lucene全文检索，openoffice转化office文档，ffmpeg处理视频文件，red5搭建流媒体服务，基于pageRank、TF-IDF算法提取处理知识点，webmagic爬取数据，itextpdf、poi处理office等。

  3. 所属分类：Java

    • 发布日期：2018-05-15
    • 文件大小：73400320
    • 提供者：qq_18860653

  1. Java网络爬虫源码

  2. 由于项目需要，特研究了一段时间关于java爬虫的相关技术，发现一个比较好用的爬虫框架--WebMagic，只需少量代码即可实现一个爬虫，本项目就是基于它的一个简单实现，导入项目即可运行，项目只有两个类，一个用于抓取，一个用于处理抓取到的数据，存入数据库或导出到excel等(只打印到控制台，后续自己发挥)，简单吧，代码真的很少

  3. 所属分类：Java

  1. webmagic项目源码

  2. WebMagic项目代码分为核心和扩展两部分。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。WebMagic的架构设计参照了Scrapy，目标是尽量的模块化，并体现爬虫的功能特点。

  3. 所属分类：Java

    • 发布日期：2018-08-20
    • 文件大小：357376
    • 提供者：qq_32477403

  1. webmagic爬取downloademail附源码

  2. 网络爬虫的小实验程序，就是获取https://www.downloademail.info的email地址。

  3. 所属分类：搜索引擎

    • 发布日期：2019-04-09
    • 文件大小：14680064
    • 提供者：qq_38281324

  1. webmagic 0.7.3 源码+jar.zip

  2. WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。

  3. 所属分类：Java

    • 发布日期：2020-02-19
    • 文件大小：5242880
    • 提供者：sem00000

  1. 51job岗位爬取.rar

  2. 51job(前程无忧)网,岗位爬取项目源码,仅供技术参考,webmagic+mysql+idea,操作文章链接如下https://blog.csdn.net/weixin_43701595/article/details/106332933

  3. 所属分类：Web服务器

    • 发布日期：2020-05-25
    • 文件大小：28672
    • 提供者：weixin_43701595

  1. ES的搜索引擎的设计与实现源码.zip

  2. 本系统以SpringBoot基础框架整合其他技术设计和搭建而成，选用webmagic框架实现单节点的网络爬虫系统，爬虫的生命周期为链接提取、页面下载、内容抽取、持久化，多线程抓取机制，Redis队列和集合实现网页去重和增量抓取，Redis队列和集合实现网页去重和增量抓取。搜索引擎的索引和搜索系统是利用全文搜索引擎框架（ElasticSearch）构建，由IK分词器实现语句分词地功能，ElasticSearch是一个企业分布式、高扩展、高实时的搜索与数据技术分析处理引擎，可以用于搜索各种文当，它提

  3. 所属分类：Java

    • 发布日期：2020-08-04
    • 文件大小：251904
    • 提供者：qirui97

  1. spider:利用spring boot + webmagic开发的java爬虫系统-源码

  2. 蜘蛛 一。简介 通过spring boot建造的爬虫系统 二。技术选型 spring boot：构建项目框架，比较Swift，集成嵌入式tomcat，部署运行方便，零配置代码简洁 elasticSearch：作为nosql数据存储引擎 elastic-job：分布式作业调度系统，依赖zookeeper环境作为分布式协同 WebMagic：爬虫框架，有去重功能，支持Xpath，regex，css等选择器 三。运行方式 先启动zookeeper和elasticsearch ，并修改相应配置，然后按下

  3. 所属分类：其它

    • 发布日期：2021-03-11
    • 文件大小：283648
    • 提供者：weixin_42166918

  1. 蜘蛛演示：网络爬虫-源码

  2. 蜘蛛演示 网络爬虫 概念： 网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取骨骼信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁蚁，自动索引，模拟程序或蠕虫。 爬虫的具体步骤： 1，数据采集，经过一定的逻辑和策略，循环抓取网页上的数据，工作过程就像Ctrl + a-> Ctrl + c-> Ctrl + v； 2，解析，分析采集到的数据集，使用一定的规则或语法，提取相关的信息； 3，存储，将提取出的信息以我们

  3. 所属分类：其它

    • 发布日期：2021-02-21
    • 文件大小：13631488
    • 提供者：weixin_42132354

  1. WebMaple：以webmagic为内核的分布式可视化爬虫框架，参考webmagic-avalon的架构，目标是提供可分散分布的爬虫框架，以及可视化的爬虫管理界面-源码

  2. Web枫 以webmagic为内核的分布式可视化爬虫框架，参考webmagic-avalon的架构，目标是提供可分散部署的爬虫框架，以及可视化的爬虫管理界面。 目前分为三个模块： maple-admin，为webmagic-avalon中的管理员中断，对应一个java进程。负责： 与多个worker通信，监听worker的幸存； 从工人处获得当前爬虫信息，并在前端页面展示； 调用worker的接口创建爬虫。 它是一个Springboot项目，可以直接打包上传到服务器并启动。 maple-wo

  3. 所属分类：其它

    • 发布日期：2021-02-07
    • 文件大小：16777216
    • 提供者：weixin_42116847

  1. webmagic：Java的可伸缩Web爬虫框架-源码

  2. 可扩展的搜寻器框架。 它涵盖了爬虫的整个生命周期：下载，URL管理，内容提取和持久性。 它可以简化特定搜寻器的开发。 特征： 核心简单，灵活性高。 用于html提取的简单API。 使用POJO进行注释以自定义搜寻器，无需配置。 多线程和分发支持。 易于集成。 安装： 向您的pom.xml添加依赖项： us.codecraft webmagic-core 0.7.4 us.codecraft webmagic-extension

  3. 所属分类：其它

    • 发布日期：2021-02-02
    • 文件大小：359424
    • 提供者：weixin_42097508

  1. z2py:最爱片源网源代码（基于Webmagic爬虫实现）-源码

  2. z2py 最爱片源网源代码（基于Webmagic爬虫实现） 演示地址：http:

  3. 所属分类：其它

    • 发布日期：2021-03-23
    • 文件大小：774144
    • 提供者：weixin_42160398