前言 最近学完Python，写了几个爬虫练练手，网上的有很多，但是有的已经不能爬了，主要是经常改，可是爬虫还是有通用的思路的，即下载数据、解析数据、保存数据。下面一一来讲。 1.下载数据 首先打开要爬的，分析URL，每打开一个网页看URL有什么变化，有可能带上上个网页的某个数据，例如xxID之类，那么我们就在上一个页面分析HTML，找到对应的数据。如果网页源码找不到，可能是ajax异步加载，去xhr里去找。   有的做了反爬的处理，可以添加User-Agent ：判断 self.user_