微博爬虫综述
今天手把手教大家如何写成一份微博爬虫的代码,可以自己爬取微博的热门话题或评论,方便做相关的数据分析和可视化。
该项目的 Github 地址是 https://github.com/Python3Spiders/WeiboSuperSpider
,请不要利用该爬虫项目获得的数据作任何违法用途。
微博爬虫主要有两个导向,一个是微博内容的爬虫,其目的字段包括微博文本、发布者、转发/评论/点赞数等,另一个是微博评论的爬虫,其目的字段主要是评论文本和评论者。
微博的爬虫的目的网站主要有四个,