文件名称:
City58:全国58同城房屋信息爬虫-源码
开发工具:
文件大小: 26kb
下载次数: 0
上传时间: 2021-03-16
详细说明：城市58
58同城全国城市房屋信息爬虫，爬取内容包括：各行政区域小区的详情页数据，各小区内出租房和二手房的详情页数据。
抓取流程
进入XA小区列表页面，抓取各行政区编号，并初始化各行政区首页URL
遍历抓取各行政区所有页面的小区详情页URL
进入小区详情页，抓取小区名称，房价，地址等数据
进入小区二手房列表页面，翻页抓取所有二手房名称，房价，户型等数据
进入小区出租房列表页面，翻页抓取所有出租房详情页面URL
进入出租房详情页，抓取名称，房价，户型，地址，房屋类型等数据
第三方依赖
库
描述
扭曲的
（最新）18.9.0
Pywin32
注意：
Twisted 18.9.0以下版本可能需要安装Microsoft Visual C ++生成工具
Pywin32不可pip安装，必须去官网下载对应版本的.exe程序手动安装。
解释
为方便调试程序，Spider中设置仅抓取一个行政区域的第一
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
