注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. PrerenderNode.zip

  2. Prerender Node 是 Express 中间件用于对 Javascr ipt 应用的页面进行预渲染，以支持搜索引擎爬取。 标签：Prerender

  3. 所属分类：其它

    • 发布日期：2019-07-15
    • 文件大小：43008
    • 提供者：weixin_39840924

  1. Node.js-Puppet是一个使用puppeteer抓取网站的命令行工具

  2. Puppet是一个使用puppeteer抓取网站的命令行工具。 它允许您以并行和递归方式爬网多个页面。 在几秒钟内截取屏幕截图或创建PDF。

  3. 所属分类：其它

    • 发布日期：2019-08-09
    • 文件大小：14336
    • 提供者：weixin_39840515

  1. Reptile_demo.zip

  2. 当某些网站限制打开控制台爬取页面内容时，可以通过node向服务器发送请求，爬取我们想要得到的页面文件内容。

  3. 所属分类：Javascript

    • 发布日期：2020-05-19
    • 文件大小：15360
    • 提供者：xiecheng1995

  1. Node.js-一个简单的播放器从数据爬取处理到上传至七牛云再到前端页面展示

  2. 一个简单的播放器，从数据爬取处理到上传至七牛云再到前端页面展示

  3. 所属分类：其它

    • 发布日期：2019-08-10
    • 文件大小：602112
    • 提供者：weixin_39840515

  1. loveMail.zip

  2. 用于爬取天气页面信息，自动执行脚本给女友发邮件 可以自己定制基本页面，然后自己选择男女朋友的地理位置，进行爬取页面的天气等信息，主要利用了node.js服务端编程和一些第三方包的使用。

  3. 所属分类：互联网

    • 发布日期：2020-08-09
    • 文件大小：31457280
    • 提供者：Calarqiang

  1. 利用node.js爬取指定排名网站的JS引用库详解

  2. 最近在学习node.js爬虫，由于 nodejs 强大的异步特性，让我们可以轻松以异步高并发去爬取网站，下面这篇文章主要给大家介绍了关于利用node.js爬取指定排名网站的JS引用库的相关资料，需要的朋友可以参考下。

  3. 所属分类：其它

    • 发布日期：2020-10-19
    • 文件大小：94208
    • 提供者：weixin_38722184

  1. 使用 Node.js 开发资讯爬虫流程

  2. 最近项目需要一些资讯，因为项目是用 Node.js 来写的，所以就自然地用 Node.js 来写爬虫了 项目地址：github.com/mrtanweijie… ，项目里面爬取了 Readhub 、 开源中国 、 开发者头条 、 36Kr 这几个网站的资讯内容，暂时没有对多页面进行处理，因为每天爬虫都会跑一次，现在每次获取到最新的就可以满足需求了，后期再进行完善 爬虫流程概括下来就是把目标网站的HTML下载到本地再进行数据提取。 一、下载页面 Node.js 有很多http请求库，这里使用 re

  3. 所属分类：其它

    • 发布日期：2020-12-23
    • 文件大小：53248
    • 提供者：weixin_38614952

  1. Node.js爬取豆瓣数据实例分析

  2. 一直自以为自己vue还可以，一直自以为webpack还可以，今天在慕课逛node的时候，才发现，自己还差的很远。众所周知，vue-cli基于webpack，而webpack基于node，对node不了解，谈什么了解webpack。所以就自己给自己出了一道题，爬取豆瓣数据，目前还处于初级阶段。今天就浅谈爬取到豆瓣的数据，再另一个页面用自己的方式展现，后续会跟进。 1、需要解决的问题 搭建服务 怎么处理爬到的数据 怎么自动打开默认浏览器 2、搭建服务 搭建服务有好几种方式，一开始我用的h

  3. 所属分类：其它

    • 发布日期：2020-12-23
    • 文件大小：387072
    • 提供者：weixin_38733367

  1. Node.js环境下编写爬虫爬取维基百科内容的实例分享

  2. 基本思路 思路一（origin:master）：从维基百科的某个分类（比如：航空母舰（key））页面开始，找出链接的title属性中包含key（航空母舰）的所有目标，加入到待抓取队列中。这样，抓一个页面的代码及其图片的同时，也获取这个网页上所有与key相关的其它网页的地址，采取一个类广度优先遍历的算法来完成此任务。 思路二（origin:cat）：按分类进行抓取。注意到，维基百科上，分类都以Category:开头，由于维基百科有很好的文档结构，很容易从任一个分类，开始，一直把其下的所有分类全都抓

  3. 所属分类：其它

    • 发布日期：2020-12-23
    • 文件大小：73728
    • 提供者：weixin_38591011

  1. 利用node.js爬取指定排名网站的JS引用库详解

  2. 前言 本文给大家介绍的爬虫将从网站爬取排名前几的网站，具体前几名可以具体设置，并分别爬取他们的主页，检查是否引用特定库。下面话不多说了，来一起看看详细的介绍： 所用到的node主要模块 express 不用多说 request http模块 cheerio 运行在服务器端的jQuery node-inspector node调试模块 node-dev 修改文件后自动重启app 关于调试Node 在任意一个文件夹，执行node-inspector，通过打开特定页面，在页面上

  3. 所属分类：其它

    • 发布日期：2021-01-01
    • 文件大小：93184
    • 提供者：weixin_38551938

  1. node实现的爬虫功能示例

  2. 本文实例讲述了node实现的爬虫功能。分享给大家供大家参考，具体如下： node是服务器端的语言，所以可以像python一样对网站进行爬取，下面就使用node对博客园进行爬取，得到其中所有的章节信息。 第一步： 建立crawl文件，然后npm init。 第二步： 建立crawl.js文件，一个简单的爬取整个页面的代码如下所示： var http = require(http); var url = http://www.cnblogs.com; http.get(url, function

  3. 所属分类：其它

    • 发布日期：2021-01-01
    • 文件大小：159744
    • 提供者：weixin_38556822

  1. puppeteer库入门初探

  2. puppeteer 是一个Chrome官方出品的headless Chrome node库。它提供了一系列的API, 可以在无UI的情况下调用Chrome的功能, 适用于爬虫、自动化处理等各种场景 根据官网上描述，puppeteer 具有以下作用: 生成页面截图和 PDF 自动化表单提交、UI 测试、键盘输入等 创建一个最新的自动化测试环境。使用最新的 Javascr ipt 和浏览器功能，可以直接在最新版本的 Chrome 中运行测试。 捕获站点的时间线跟踪，以帮助诊断性能问题

  3. 所属分类：其它

    • 发布日期：2021-01-02
    • 文件大小：332800
    • 提供者：weixin_38657376

  1. node实现爬虫的几种简易方式

  2. 说到爬虫大家可能会觉得很NB的东西，可以爬小电影，羞羞图，没错就是这样的。在node爬虫方面，我也是个新人，这篇文章主要是给大家分享几种实现node 爬虫的方式。第一种方式，采用node,js中的 superagent+request + cheerio。cheerio是必须的，它相当于node版的jQuery，用过jQuery的同学会非常容易上手。它 主要是用来获取抓取到的页面元素和其中的数据信息。superagent是node里一个非常方便的、轻量的、渐进式的第三方客户端请求代理模块，用他来

  3. 所属分类：其它

    • 发布日期：2021-01-01
    • 文件大小：252928
    • 提供者：weixin_38731553

  1. zhihu：:sparkles:知乎日报-爬虫，数据分析，Node.js，Vue.js ..-源码

  2. 知乎日报的 关于 Node.js + Vue.js + MongoDB的知乎日报爬虫项目 技术栈 初步 Node.js + Express + MongoDB 使用Express构建web服务，爬虫爬取的数据用MongoDB存储。 用node-jieba分词分析正文的标签，做则更能准确的数据分析和内容搜索（doing） 前端 ES6 + Vue + Webpack 基于Vue2.0的单页面应用用webpack做前端代码改进 数据统计的页面使用原生ES6代码编写，单独配置了webpack做构建，没

  3. 所属分类：其它

    • 发布日期：2021-02-06
    • 文件大小：462848
    • 提供者：weixin_42131352

  1. 木偶：无头的Chrome Node.js API-源码

  2. 木偶戏 | | | Puppeteer是一个Node库，它提供了高级API来通过控制Chrome或Chromium。 Puppeteer默认情况下运行，但可以配置为运行完整（无头）的Chrome或Chromium。 我能做些什么？ 您可以在浏览器中手动执行的大多数操作都可以使用Puppeteer完成！ 以下是一些入门示例： 生成页面的屏幕截图和PDF。 爬取SPA（单页应用程序）并生成预渲染的内容（即“ SSR”（服务器端渲染））。 自动进行表单提交，UI测试，键盘输入等。 创建最新

  3. 所属分类：其它

    • 发布日期：2021-02-06
    • 文件大小：1048576
    • 提供者：weixin_42138139

  1. nodeJs-Reptile：node + ejs爬上上海链家房屋价格（张江地区租房）信息，承诺，eventproxy，express，koa框架使用-源码

  2. 节点爬行动物 如果想要抓取详情页面，请参考：( ）

  3. 所属分类：其它

    • 发布日期：2021-02-03
    • 文件大小：6291456
    • 提供者：weixin_42116713

  1. ComicHub：:books:ComicDownloader（漫画下载器）-源码

  2. ComicHub Comic Downloader（漫画下载器） 介绍 ComicHub是一款漫画下载器。爬取漫画网站的图片，生成PDF文件。 技术栈 -表现中间件使用ES2017异步功能的node.js 一个声明性，高效且灵活Javascr ipt库，用于构建用户界面。 -Typescr ipt是Javascr ipt的超集 :party_popper:功能 下载一集漫画 MySQL存储爬取链接 前端互动页面 生成PDF文件 多语言 下载一部漫画 支持的网站 更多站点，敬请期待！

  3. 所属分类：其它

    • 发布日期：2021-02-03
    • 文件大小：141312
    • 提供者：weixin_42132056

  1. NewsAggregationWebsiteKoa2：新闻聚合网站，前端：bootstrap起始地址：node koa2数据库：monogodb，并可以通过android APP打开该网页-源码

  2. 一，项目要求 定时到各主流新闻门户网站抓取信息 用户访问网站时能看到聚合的信息内容 实现用户注册，登录功能，用户注册时需要填写必要的信息并验证，如用户名，密码要求在6个字节以上，请通过电子邮件的格式验证，并保证用户名和电子邮件在系统中唯一。 用户登录后可以设置关注的新闻资讯栏目，用户访问网站的展示页面会根据用户设置做出相应的调整 实现一个Android或iphone客户端软件，功能同网站，但展示界面根据屏幕大小做UI的自适应调整，并能实现重点新闻推送 具体一定的学习能力，能根据用户的使用习惯调整

  3. 所属分类：其它

    • 发布日期：2021-01-30
    • 文件大小：14680064
    • 提供者：weixin_42098892

  1. :mobile_phone:微信小程序——王者图鉴

  2. 【微信小程序】王者图鉴 灵感源于今年很火的手游——王者荣耀，偶尔用手机上网查找游戏数据并不是很方便，于是有了开发“王者图鉴”小程序的想法。从官网爬取数据，将英雄、装备、铭文等信息整合在微信小程序中，随时随地查询游戏信息。 预览 效果展示 线上体验 微信扫一扫下方的小程序码，立即体验： 技术栈 原型设计：sketch 后台数据爬取：node.js + leancloud () 前端：(WXML/WXSS/Javascr ipt...) 使用 首先点击右上角的 Fork 或者绿色按钮 Clone o

  3. 所属分类：其它

    • 发布日期：2021-01-26
    • 文件大小：2097152
    • 提供者：weixin_38557670

  1. Node批量爬取头条视频并保存方法

  2. 简介 一般批量爬取视频或者图片的套路是，使用爬虫获得文件链接集合，然后通过 writeFile 等方法逐个保存文件。然而，头条的视频，在需要爬取的 html 文件（服务端渲染输出）中，无法捕捉视频链接。视频链接是页面在客户端渲染时，通过某些 js 文件内的算法或者解密方法，根据视频的已知 key 或者 hash 值，动态计算出来并添加到 video 标签的。这也是网站的一种反爬措施。 我们在浏览这些页面时，通过审核元素，可以看到计算后的文件地址。然而在批量下载时，逐个手动的获取视频链接显然不可

  3. 所属分类：其它

    • 发布日期：2021-01-21
    • 文件大小：53248
    • 提供者：weixin_38735182