一、需求说明 当我们写爬虫的时候，经常会遇到json格式的数据，它通常是如下结构： data = [{'name':'小K','score':100}, {'name':'小J','score':98}, {'name':'小Q','score':95}, {'name':'小K','score':100}] 很显然名字为小K的数据重复了，我们需要进行去重。通常对于list的去重，我们可以用set()函数，即： data = list(set(data)) 然而