注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. 网啦搜索引擎系统v1.0

  2. 网啦搜索引擎系统由四个子系统构成，分别是：网页抓取子系统、数据搬运子系统、WEB搜索子系统、数据库引擎。 • 网页抓取子系统：英文名Spider，用于抓取互联网上的网页，编码并存放到本地磁盘缓冲中。本子系统运行在多线程模式下，根据服务器性能，一次可以开启多达2000个线程（默认推荐10个），一个线程执行一个单独的抓取任务，多个线程就相当于多个抓取任务同时运行，大大提高抓取网页的效率。 • 数据搬运子系统：英文名Carrier，把本地磁盘缓冲中存放的网页一次性加入到数据库中。本子系统通过BCP把

  3. 所属分类：Web开发

    • 发布日期：2009-09-01
    • 文件大小：654336
    • 提供者：Jackyetz

  1. vc实例精通源码，windows基本控件的使用Demo

  2. VC实例精通一书的源码。 第2章（\Chapter02） 示例描述：本章介绍常用Win32控件的使用方法。 01_EditDemo 演示静态文本、文本框、按钮控件的使用方法 02_CheckBoxDemo 演示复选框和单选按钮控件的使用方法。 03_ComboBoxDemo 演示组合框和列表框控件的使用方法。 04_ScrollBarDemo 演示滚动条控件的使用方法。 05_SpinDemo 演示数值调节按钮的使用方法。 06_ProgressDemo 演示进度条控件的使用方法。 07_Sl

  3. 所属分类：C++

    • 发布日期：2010-04-14
    • 文件大小：7340032
    • 提供者：zhiyonggong

  1. winform之多线程编程 (源码)

  2. winform编程爱好者必看 教你如何利用winform多线程技术实现网页爬虫，对网页数据的抓取(包括移动、联通的数据)

  3. 所属分类：C#

    • 发布日期：2010-10-30
    • 文件大小：51200
    • 提供者：ld490832353

  1. 多线程抓取网上七星彩开奖号码的源码

  2. 多线程抓取网页数据 抓取七星彩开奖号码 程抓取网页数据

  3. 所属分类：Delphi

    • 发布日期：2011-06-09
    • 文件大小：694272
    • 提供者：qq56430204

  1. 网站下载器|网站复制器| 网页下载器|

  2. 网站整站下载器，最佳的离线浏览，与网站抓取程序软件。它最多一次可以发出 10 个线程来抓数据，分布式的交互查询 (Domain Dispered Quering) 则避免网络塞车时的拥挤，一样可以完整抓取网络数据。可以将整个网站按照节构顺序完整地下传至硬盘内，适合做 mirror 网络站点之用。配合prosched.exe 更可以利用网络离峰时间，抓取网络数据。利用有限的带宽，把功能发挥到极限。让你上网络的时间，一点也不浪费 .

  3. 所属分类：互联网

    • 发布日期：2011-06-28
    • 文件大小：1048576
    • 提供者：zjssmx

  1. 搜索引擎代码

  2. E桶金行业搜索引擎系统（包含多线程客户端蜘蛛系统） V1.6 版发布！ E桶金行业搜索引擎 特别适用于超大、中型信息门户、行业门户、电子商务等网站使用。 它是一款真正意义上的搜索引擎:具有自己的蜘蛛、分词、索引、搜索等全套功能。 而且所有功能全部基于web页面完成，您只需要购买一款支持asp.net的虚拟主机就能完成本程序的部署，网站轻松上线。 本程序具有毫秒级高速搜索, 搜索结果相关度排序 。多关键词搜索、超长词条搜索、关键词高亮显示。 该程序为ASP.NET2.0版本程序，只要空间支持as

  3. 所属分类：C#

    • 发布日期：2011-09-19
    • 文件大小：8388608
    • 提供者：ntk2006

  1. 自己动手写网络爬虫

  2. 完整版《自己动手写网络爬虫》！ 第1篇 自己动手抓取数据 第1章 全面剖析网络爬虫 3 1.1 抓取网页 1.1.1 深入理解url 1.1.2 通过指定的url抓取网页内容 1.1.3 java网页抓取示例 1.1.4 处理http状态码 1.2 宽度优先爬虫和带偏好的爬虫 1.2.1 图的宽度优先遍历 1.2.2 宽度优先遍历互联网 1.2.3 java宽度优先爬虫示例 1.2.4 带偏好的爬虫 1.2.5 java带偏好的爬虫示例 1.3 设计爬虫队列 1.3.1 爬虫队列 1.3.2

  3. 所属分类：专业指导

    • 发布日期：2013-10-27
    • 文件大小：28311552
    • 提供者：qq674708957

  1. 千寻元搜索系统V2.0

  2. 　　“千寻元搜索系统”原名“MST自动化元搜索系统”，是一款多引擎多线程自动化信息搜索及网页数据抓取处理系统，软件整合了国内绝大部分搜索引擎，您可以方便的直接调用任意一个或多个搜索引擎进行信息搜索。本软件可以比常规的搜索引擎网站更精确、更方便、更具体地进行各种信息搜索，并可对搜索结果进行多元化的各种操作，使您能够从海量的搜索结果中更精确的找到需要的信息。 　　 千主要功能有：1、多关键词多引擎自动化批量搜索采集信息。2、批量检测扫描网页内容包含的关键词。3、手机、QQ、邮箱联系方式自动抓取。4

  3. 所属分类：互联网

    • 发布日期：2014-03-27
    • 文件大小：11534336
    • 提供者：shiyu523

  1. PHP+Curl远程模拟登录并获取数据

  2. Curl在抓取网页要比file_get_contents()效率就要高些,支持多线程，并且curl提供了丰富的函数，你可以很方便的应用到webservice接口调用。

  3. 所属分类：PHP

    • 发布日期：2016-05-17
    • 文件大小：4096
    • 提供者：xfuyct

  1. Python入门网络爬虫之精华版

  2. Python入门网络爬虫之精华版 Python学习网络爬虫主要分3个大的版块：抓取，分析，存储 另外，比较常用的爬虫框架Scrapy，这里最后也详细介绍一下。 首先列举一下本人总结的相关文章，这些覆盖了入门网络爬虫需要的基本概念和技巧：宁哥的小站-网络爬虫 当我们在浏览器中输入一个url后回车，后台会发生什么？比如说你输入http://www.lining0806.com/，你就会看到宁哥的小站首页。 简单来说这段过程发生了以下四个步骤： 查找域名对应的IP地址。 向IP对应的服务器发送请求

  3. 所属分类：Python

    • 发布日期：2016-11-04
    • 文件大小：5120
    • 提供者：q6115759

  1. 最简单的爬虫-WebMagic 0.73 源码

  2. 最简单的爬虫设置，最好二次开发的爬虫 WebMagic 框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。作为爬虫框架，它使用httpclient作为获取网页工具、使用Jsoup作为分析页面定位抓取内容、使用ExecutorService线程池作为定时增量抓取、Jdiy作为持久层框架。不熟悉这些名词的同学

  3. 所属分类：Java

    • 发布日期：2017-12-04
    • 文件大小：356352
    • 提供者：aburta

  1. Python网络爬虫的设计与实现

  2. 本课题的主要目的是设计面向定向网站的网络爬虫程序，同时需要满足不同的性能要求，详细涉及到定向网络爬虫的各个细节与应用环节。 搜索引擎作为一个辅助人们检索信息的工具。但是，这些通用性搜索引擎也存在着一定的局限性。不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。为了解决这个问题，一个灵活的爬虫有着无可替代的重要意义。 网络爬虫应用智能自构造技术，随着不同主题的网站，可以自动分析构造URL，去重。网络爬虫使用多线程技术，让爬虫具备更强大的抓取能

  3. 所属分类：Python

    • 发布日期：2018-03-05
    • 文件大小：1048576
    • 提供者：weixin_41792059

  1. 77G 22套C语言 C++ 数据结构 程序设计视频课程合集 C丨C++相关学习视频全套视频教程

  2. VC++ MFC 经典教程 - 基础篇 1.CP_YourFirstWindowsProgram.mp4 10.MFC_GDI_画直线和曲线.mp4 11.MFC_GDI_画椭圆_多边形及其他形状.mp4 12.MFC_GDI_画笔和画刷.mp4 13.MFC_GDI_画文本和字体.mp4 14.MFC_GDI_备用对象和取消选定.mp4 15.MFC_Ruler.mp4 16.MFC_窗口滚动条.mp4 17.MFC_Accel.mp4 18.MFC_Accel(2).mp4 19.MFC_

  3. 所属分类：C/C++

    • 发布日期：2018-11-16
    • 文件大小：9216
    • 提供者：qq_41972992

  1. PHP+Curl远程模拟登录并获取数据

  2. Curl在抓取网页要比file_get_contents()效率就要高些,支持多线程，并且curl提供了丰富的函数，你可以很方便的应用到webservice接口调用。

  3. 所属分类：互联网

    • 发布日期：2019-01-07
    • 文件大小：4096
    • 提供者：u010558449

  1. 10个线程的Python多线程爬虫（采集新浪数据）.rar

  2. 一个Python多线程爬虫，在工作时，开10个线程来抓取新浪网页的数据，抓取并保存页面, 并且根据deep返回页面链接，根据key确定是否保存该页面,其中: 　　deep == 0时，是抓取的最后一层深度，即只抓取并保存页面，不分析链接 　　deep > 0时，返回该页面链接。 　　编写本采集爬虫的具体要求：1. 指定网站爬取指定深度的页面，将包含指定关键词的页面内容存放到sqlite3数据库文件中 　　2. 程序每隔10秒在屏幕上打印进度信息 　　3. 支持线程池机制，并发爬取网页 　

  3. 所属分类：其它

    • 发布日期：2019-07-10
    • 文件大小：31744
    • 提供者：weixin_39840387

  1. 高性能抓取程序SSC.rar

  2. 1）支持多任务、多线程数据采集，同时支持一个采集任务多个 多线程、高性能采集器爬虫.net版源码，可采ajax页面 实例运行，即将采集任务规则与采集任务运行进行剥离，方便采集任务的配置、跟踪管理； 2）支持GET、POST请求方式，支持cookie，可满足需身份认真的数据采集，cookie可预先存储，也可实时获取； 3）支持用户自定义的HTTP Header，通过此功能用户可完全模拟浏览器的请求操作，可满足所有的网页请求要求，此功能在数据web发布时尤为有

  3. 所属分类：C#

    • 发布日期：2020-04-05
    • 文件大小：223232
    • 提供者：lirui_313128442

  1. ES的搜索引擎的设计与实现源码.zip

  2. 本系统以SpringBoot基础框架整合其他技术设计和搭建而成，选用webmagic框架实现单节点的网络爬虫系统，爬虫的生命周期为链接提取、页面下载、内容抽取、持久化，多线程抓取机制，Redis队列和集合实现网页去重和增量抓取，Redis队列和集合实现网页去重和增量抓取。搜索引擎的索引和搜索系统是利用全文搜索引擎框架（ElasticSearch）构建，由IK分词器实现语句分词地功能，ElasticSearch是一个企业分布式、高扩展、高实时的搜索与数据技术分析处理引擎，可以用于搜索各种文当，它提

  3. 所属分类：Java

    • 发布日期：2020-08-04
    • 文件大小：251904
    • 提供者：qirui97

  1. PHP中使用CURL模拟登录并获取数据实例

  2. cURL 是一个功能强大的PHP库，使用PHP的cURL库可以简单和有效地抓取网页并采集内容，设置cookie完成模拟登录网页，curl提供了丰富的函数，开发者可以从PHP手册中获取更多关于cURL信息。本文以模拟登录开源中国(oschina)为例，和大家分享cURL的使用。 PHP的curl()在抓取网页的效率方面是比较高的，而且支持多线程，而file_get_contents()效率就要稍低些，当然，使用curl时需要开启下curl扩展。 代码实战 先来看登录部分的代码： 复制代码 代码如下

  3. 所属分类：其它

    • 发布日期：2020-12-18
    • 文件大小：57344
    • 提供者：weixin_38746818

  1. QQZoneMood：QQZone心情蜘蛛和分析。 提供在线服务，扫码登陆即可自动爬取和分析数据，还有网易云年度报告样式的数据展示；使用docker-compose打包程序，方便部署；额外提供QQ空间抽奖小程序-源码

  2. QQ区心情 体验地址： 相关博客 简介 多线程抓取QQ空间说说内容并进行分析，提供基于Flask和avalon.js的web配置界面，以及配套的测试用例 基于React幻灯片的数据展示页面，风格模仿网易云年度报告。子项目地址： 提供抽奖小程序，可以根据指定说说的点赞或评论信息进行随机抽奖（可单独打包为Windows下的命令行程序） 反向计算用户在每个时间点的好友数量，实时动态展示用户好友的增加过程，参考 系统架构图 docker版简介 本项目将网页配置版本打包为docker（以下简称doc

  3. 所属分类：其它

    • 发布日期：2021-02-02
    • 文件大小：48234496
    • 提供者：weixin_42131798

  1. php curl 模拟登录并获取数据实例详解

  2. PHP的curl()在抓取网页的效率方面是比较高的，而且支持多线程，而file_get_contents()效率就要稍低些，当然，使用curl时需要开启下curl扩展。 代码实战 先来看登录部分的代码： //模拟登录 function login_post($url, $cookie, $post) { $curl = curl_init();//初始化curl模块 curl_setopt($curl, CURLOPT_URL, $url);//登录提交的地址 curl_setop

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：55296
    • 提供者：weixin_38506852
« 12 3 »