防止网页抓取的指南 （或者至少使它更难） 注：这是我的堆栈溢出的答案的扩展版本，我把它放在这里在GitHub上，因为它太长了SO（30K字是最大，这是超过40K个字符）。 随意修改，混音和共享-该文件已获得许可。 从本质上讲，阻止抓取意味着您需要使脚本和计算机难以从网站上获取所需数据，而对真正的用户和搜索引擎则不那么困难。 不幸的是，这很困难，您将需要在防止抓取和降低真实用户和搜索引擎的可访问性之间做出权衡。 为了阻止抓取（也称为Web抓取，屏幕抓取， Web数据挖掘， Web收获或We