在scrapy框架里爬取拉勾网职位信息，利用抓包工具，构造请求头和formdata，利用cookie，实现资源的爬取（最新拉钩网反爬虫破解）

在scrapy框架里爬取拉勾网职位信息，利用抓包工具，构造请求头和formdata，利用cookie，实现资源的爬取（最新拉钩网反爬虫破解） Pipelins中包含写入本地json、mongoDB、mysql（同步）、mysql（异步），可通过settings设置选用

测试成功时间：2020年3月4日 感谢两位博主的资料，加上我使用了融合の术，得此爬取代码，仅用于学习使用，切不可用之于违法犯罪之事。 资料： python成功爬取拉勾网——初识反爬（一个小白真实的爬取路程，内容有点小多） python3 爬虫与反爬虫的斗智斗勇——2018年拉勾网的职位信息爬取 初学爬虫，感受到爬虫重要的是思想，分析别人的架构、数据接口的定位与请求方式分析以及抓包的使用。重要的是过程，实现语言只是工具，我还是使用python作为学习。 话不多说，宇智波斑直接使用了须佐能乎 im

import json import time import requests import csv # 1. 创建文件对象 f = open('lgposition.csv', 'w', encoding='utf-8', newline='') # 2. 基于文件对象构建 csv写入对象 csv_writer = csv.writer(f) # 3. 构建列表头 csv_writer.writerow( ["公司", "职位名称", "公司简称", "公司规模