Robots.txt php解析器类 PHP类可根据Google，Yandex，W3C和The Web Robots Pages规范来解析robots.txt规则。 支持的规范的完整列表（以及尚不支持的规范）在中可用。 安装 该库可通过Composer软件包安装。 要通过Composer安装，请将需求添加到您的composer.json文件中，如下所示： { " require " : { " t1gor/robots-txt-parser " : " dev-ma