今天小编就为大家分享一篇Pyspider中给爬虫伪造随机请求头的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

Pyspider 中采用了 tornado 库来做 http 请求，在请求过程中可以添加各种参数，例如请求链接超时时间，请求传输数据超时时间，请求头等等，但是根据pyspider的原始框架，给爬虫添加参数只能通过 crawl_config这个Python字典来完成(如下所示)，框架代码将这个字典中的参数转换成 task 数据，进行http请求。这个参数的缺点是不方便给每一次请求做随机请求头。 crawl_config = { user_agent: Mozilla/5.0 (Windows N