写在前面 题目所说的并不是目的，主要是为了更详细的了解网站的反爬机制，如果真的想要提高博客的阅读量，优质的内容必不可少。 了解网站的反爬机制 一般网站从以下几个方面反爬虫： 1. 通过Headers反爬虫 从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。 如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agen