主要介绍了Python打印scrapy蜘蛛抓取树结构的方法,实例分析了打印scrapy蜘蛛抓取树结构的技巧,非常具有实用价值,需要的朋友可以参考下

本文实例讲述了Python打印scrapy蜘蛛抓取树结构的方法。分享给大家供大家参考。具体如下： 通过下面这段代码可以一目了然的知道scrapy的抓取页面结构，调用也非常简单 #!/usr/bin/env python import fileinput, re from collections import defaultdict def print_urls(allurls, referer, indent=0): urls = allurls[referer] for url in