主要介绍了python爬取盘搜的有效链接，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值 ,需要的朋友可以参考下

因为盘搜搜索出来的链接有很多已经失效了，影响找数据的效率，因此想到了用爬虫来过滤出有效的链接，顺便练练手~ 这是本次爬取的目标网址http://www.pansou.com，首先先搜索个python，之后打开开发者工具， 可以发现这个链接下的json数据就是我们要爬取的数据了，把多余的参数去掉， 剩下的链接格式为http://106.15.195.249:8011/search_new?q=python&p=1，q为搜索内容，p为页码 以下是代码实现： import requests im