最近项目需要一些资讯，因为项目是用 Node.js 来写的，所以就自然地用 Node.js 来写爬虫了
项目地址：github.com/mrtanweijie… ，项目里面爬取了 Readhub 、 开源中国 、 开发者头条 、 36Kr 这几个网站的资讯内容，暂时没有对多页面进行处理，因为每天爬虫都会跑一次，现在每次获取到最新的就可以满足需求了，后期再进行完善
爬虫流程概括下来就是把目标网站的HTML下载到本地再进行数据提取。
一、下载页面
Node.js 有很多http请求库，这里使用 re
