为什么要使用Selenium?
JS动态渲染的页面不止Ajax这一种, 有些网站,不能直接分析Ajax来抓取, 难以直接找出其规律。
如何解决上述问题呢?
直接使用模拟浏览器运行的方式来实现,可见即可爬。
Python提供了许多模拟浏览器运行的库,如Selenium、Splash、PyV8、Ghost等。
Selenium是一个自动化测试工具,利用它可以驱动浏览器执行特定的动作,如点击、下拉等操作,同时还可以获取浏览器当前呈现的页面的源代码,做到可见即可爬。对于一些Javascr ipt动态渲染