主要介绍了Python网络爬虫之爬取微博热搜的相关知识，非常不错，具有一定的参考借鉴价值,需要的朋友可以参考下

微博热搜的爬取较为简单，我只是用了lxml和requests两个库 url= https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6 1.分析网页的源代码：右键–查看网页源代码. 从网页代码中可以获取到信息 (1)热搜的名字都在的子节点里 (2)热搜的排名都在的里(注意置顶微博是没有排名的！) (3)热搜的访问量都在的子节点里 2.requests获取网页 (1)先设置url地址，然后模拟浏