背景 目前项目在移动端上，首推使用微信小程序。各项目的小程序访问数据有必要进行采集入库，方便后续做统计分析。虽然阿拉丁后台也提供了趋势分析等功能，但一个个的获取数据做数据分析是很痛苦的事情。通过将数据转换成sql持久化到数据库上，为后面的数据分析和展示提供了基础。 实现思路 阿拉丁产品分开放平台和统计平台两个产品线，目前开放平台有api及配套的文档。统计平台api需要收费，而且贼贵。既然没有现成的api可以获取数据，那么我们尝试一下用python抓取页面上的数据，毕竟python擅长干这种事情。