1 爬虫示例
要实现爬虫功能,只要执行四个步骤:
定义spider 类
确定 spider 的名称(name)
获取初始化请求(start_request)
解析数据 parse()
1.1 示例1 重写 start_request() 方法
示例1:重写 start_request() 方法,
1)将爬虫伪装成浏览器。
2)设置新的解析数据的回调函数(不使用默认的parse())
from scrapy import Request
from scrapy.spiders import Spi