python采用requests+bs4爬取豆瓣top250电影信息，可以爬取完整的豆瓣top250电影信息，包括输出电影的正标题（肖申克的救赎），副标题（ The Shawshank Redemption）、其他名（ / 月黑高飞(港) / 刺激1995(台)）、导演和主演（导演: 弗兰克·德拉邦特 Frank Darabont 主演: 蒂姆·罗宾斯 Tim Robbins /…）、年份（1994）、国家（美国）、类型（犯罪 剧情）、评分（9.7）、评分人数（2072430）、名言（对应下图的

豆瓣电影Top10 爬虫 user-agent 代理自己指定下 直接下载 pycharm直接跑就可以，数据保存为xls Python语言的

首先创建scrapy项目 命令：scrapy startproject douban_read 创建spider 命令：scrapy genspider douban_spider url 网址：https://read.douban.com/charts 关键注释代码中有，若有不足，请多指教 scrapy项目目录结构如下 douban_spider.py文件代码 爬虫文件 import scrapy import re, json from ..items import DoubanRe

环境 Scrapy安装 Scrapy抓取步骤 第一步：新建项目 创建scrapy项目 设置settings.py 创建爬虫文件（douban_spider.py） 第二步：明确目标 打开网站 分析抓取内容 实现数据结构（items.py） 第三步：制作爬虫 测试 编写解析文件（douban_spider.py的parse()方法） 第四步：保存数据 存到文件 存到数据库 其他部分：爬虫的伪装 Ip代理中间件编写（middlewares.py） user-agent中间件编写（middleware