网络发现
功能特点:
轻量级爬虫
初步设计,适当扩展:支持多种消息体系(Disruptor,Redis,Kafka,RabitMQ,RocketMQ),多种网络框架(Http Client,Okhttp3,Selenium等),也支持自己实现。
支持分布式
多线程,异步化:逐步使用RxJava 2的多线程机制
支持线程池隔离:爬虫的Parser,Pipeline过程可以放在独立的线程池中进行处理
支持请求动态添加到正在运行爬虫的队列中
支持Kotlin协程
支持JS渲染
支持请求自定义heade