通过python学习高效的web抓取和爬行的艺术，从任何来源提取数据来执行实时分析。充满技术和例子，以帮助您爬行网站和提取数据在几个小时内。如果你是一名软件开发人员、数据科学家、NLP或机器学习爱好者，或者只是需要将公司的wiki从一个遗留平台迁移过来，那么这本书就是为你准备的。它非常适合那些需要立即轻松访问大量半结构化数据的人。你将学会什么?理解HTML页面和编写XPath来提取你需要的数据用简单的Python编写杂乱的爬行器，并做网络爬虫把你的数据注入任何数据库，搜索引擎或分析系统配置你的

前言 之前博主分享了两篇使用requests库进行网络资源的爬取，那么有没有一个通用的更加强大的爬虫方案呢？答案当然是有的，下面博主就为大家介绍一下Scrapy框架（也是业内运用最为广泛的框架）的基本使用。 Scrapy简介 Scrapy使用纯Python实现，是一个为了爬取网站数据，提取结构性数据而编写的应用框架，其用途非常广泛，可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 通常我们只需要定制开发几个模块就可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定网站的内容