主要介绍了python爬虫库scrapy简单使用实例详解,需要的朋友可以参考下

最近因为项目需求，需要写个爬虫爬取一些题库。在这之前爬虫我都是用node或者php写的。一直听说python写爬虫有一手，便入手了python的爬虫框架scrapy. 下面简单的介绍一下scrapy的目录结构与使用： 首先我们得安装scrapy框架 pip install scrapy 接着使用scrapy命令创建一个爬虫项目： scrapy startproject questions 相关文件简介： scrapy.cfg: 项目的配置文件 questions/: 该项目的python模块

最近因为项目需求，需要写个爬虫爬取一些题库。在这之前爬虫我都是用node或者php写的。一直听说python写爬虫有一手，便入手了python的爬虫框架scrapy. 下面简单的介绍一下scrapy的目录结构与使用： 首先我们得安装scrapy框架 pip install scrapy 接着使用scrapy命令创建一个爬虫项目： scrapy startproject questions 相关文件简介： scrapy.cfg: 项目的配置文件 questions/: 该项目的python模