本篇文章给大家总结了关于nodeJs爬虫的技术点的相关知识，对爬虫有兴趣的朋友可以跟着学习参考下。

背景 最近打算把之前看过的nodeJs相关的内容在复习下，顺便写几个爬虫来打发无聊，在爬的过程中发现一些问题，记录下以便备忘。 依赖 用到的是在网上烂大街的cheerio库来处理爬取的内容，使用superagent处理请求，log4js来记录日志。 日志配置 话不多说，直接上代码： const log4js = require('log4js'); log4js.configure({ appenders: { cheese: { type: 'dateFile', f