一般我们使用python的第三方库requests及框架scrapy来爬取网上的资源，但是设计javascr ipt渲染的页面却不能抓取，此 时，我们使用web自动化测试化工具Selenium+无界面浏览器PhantomJS来抓取javascr ipt渲染的页面，下面实现一个简单的爬取

环境搭建 准备工具：pyton3.5,selenium,phantomjs 我的电脑里面已经装好了python3.5 安装Selenium pip3 install selenium 安装Phantomjs　　 按照系统环境下载phantomjs,下载完成之后，将phantomjs.exe解压到python的scr ipt文件夹下 使用selenium+phantomjs实现简单爬虫 from selenium import webdriver driver = webdriver.Phant

1、引言 在Python网络爬虫内容提取器一文我们详细讲解了核心部件：可插拔的内容提取器类gsExtractor。本文记录了确定gsExtractor的技术路线过程中所做的编程实验。这是第二部分，第一部分实验了用xslt方式一次性提取静态网页内容并转换成xml格式。留下了一个问题：javascr ipt管理的动态内容怎样提取？那么本文就回答这个问题。 2、提取动态内容的技术部件 在上一篇python使用xslt提取网页数据中，要提取的内容是直接从网页的source code里拿到的。但是一些Aj