适用于Python的机器人排除标准解析器 robots Python模块为robots.txt文件实现了解析器。 推荐使用的类是robots.RobotsParser 。 还存在一个薄外观的robots.RobotFileParser来替代python标准库中提供的 。 robots.RobotFileParser类公开了一个与urllib.robotparser.RobotFileParser最兼容的API。 进行此重写的主要原因如下： 最初打算尝试分析robots.txt来进行链接检查