文件名称:
grobotstxt:grobotstxt是Google robots.txt解析器和匹配器库的本地Go端口-源码
开发工具:
文件大小: 32kb
下载次数: 0
上传时间: 2021-03-08
详细说明：grobotstxt
grobotstxt是Matcher 的本地Go端口。
直接功能转换/端口
保留原始库的所有行为
全部100％的原始测试套件功能
特定于语言的次要清理
添加了一个帮助程序来提取站点地图URI
超级简单的API
根据Google的原始库，我们为网站管理员提供了一个小型的独立二进制可执行文件，该文件允许针对robots.txt测试单个URL和用户代理。 我们的称为icanhasrobot ，其输入和输出与原始工具兼容。
关于
从Google的robots.txt解析器和匹配器存储库中引用自述文件：
机器人排除协议（REP）是一种标准，使网站所有者可以通过具有特定语法的简单文本文件来控制自动客户端（即搜寻器）可以访问哪些URL。 它是众所周知的互联网的基本组成部分之一，也是使搜索引擎能够运行的基础。
由于REP在过去25年中只是事实上的标准，因此不同的实现者对r
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
