分布式爬网基础架构 该软件可让您按比例爬网和刮擦Internet。 它支持通过http进行基本爬网，并借助通过操纵up来控制的高度定制的无头chrome浏览器来支持复杂的爬网。 目的是能够抓取/抓取试图锁定自动机器人的网站。我们认为，只要总体网络吞吐量是保守的，并且搜寻器不会消耗任何资源或对网站造成负担，就应该允许它从公共数据集中提取信息。 平台不拥有从客户那里收集的数据。同时，他们利用上述数据产生了很多财富。这是一种尝试，使开发人员可以再次访问公共领域中的数据。 如果您想访问通过纯http请求