主要介绍了使用phantomjs进行网页抓取的实现代码,需要的朋友可以参考下

phantomjs因为是无头浏览器可以跑js，所以同样可以跑dom节点，用来进行网页抓取是再好不过了。 比如我们要批量抓取网页 “历史上的今天” 的内容。网站 对dom结构的观察发现，我们只需要取到 .list li a的title值即可。因此我们利用高级选择器构建dom片段 var d= '' var c = document.querySelectorAll('.list li a') var l = c.length; for(var i =0;i<l;i++){ d=d+c[i