抓取机器人 软件包fetchbot提供了一个简单而灵活的Web搜寻器，它遵循robots.txt策略和搜寻延迟。 它是使用更简单的API，更少的内置功能，但同时具有更大灵活性的对的重写。 至于Go本身，有时少即是多！ 安装 要安装，只需在终端中运行： go get github.com/PuerkitoBio/fetchbot 该软件包具有单个外部依赖项 。 它还集成了代码。 。 变化 2019-09-11（v1.2.0）：更新robotstxt依赖项（由于提出了问题，导入路径/仓库UR