科利 Gophers的闪电般快速且优雅的抓取框架 Colly提供了一个干净的界面来编写任何种类的爬虫/爬虫/蜘蛛。 使用Colly，您可以轻松地从网站中提取结构化数据，这些数据可用于各种应用程序，例如数据挖掘，数据处理或归档。 产品特点 清洁API 快速（单个内核上> 1k请求/秒） 管理请求延迟和每个域的最大并发 自动cookie和会话处理 同步/异步/并行抓取 快取 自动编码非Unicode响应 Robots.txt支持 分布式刮 通过环境变量进行配置 扩展名 例 func ma