主要介绍了基于Vert.x和RxJava 2构建通用的爬虫框架的示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

最近由于业务需要监控一些数据，虽然市面上有很多优秀的爬虫框架，但是我仍然打算从头开始实现一套完整的爬虫框架。 在技术选型上，我没有选择Spring来搭建项目，而是选择了更轻量级的Vert.x。一方面感觉Spring太重了，而Vert.x是一个基于JVM、轻量级、高性能的框架。它基于事件和异步，依托于全异步Java服务器Netty，并扩展了很多其他特性。 github地址：https://github.com/fengzhizi715/NetDiscovery 一. 爬虫框架的功能 爬虫框架包含爬