事情经过
这次做的是一个客户的爬虫项目,需求比较简单。一开始客户希望能用他给定的Cookie文件登录百度云网盘,获取网盘内所有的文件列表,并将结果保存在txt里面。后来这部分做完了客户又提出个需求,希望增加网盘内的文件分享功能。
总体思路
1、读取用户给的Cookie.txt,对每一个Cookie构造一个请求头(header)
2、利用构造好的请求头和数据包获取列表文件(一般都是js文件)
3、对列表文件进行解析(常用解析工具Re、Xpath、Jsonpath),并保存结果。
4、输出所有的文件