文件名称:
Website-Logo-Crawler-源码
开发工具:
文件大小: 9kb
下载次数: 0
上传时间: 2021-03-17
详细说明:概述
面向数据工程师的技术面试项目。
目的是编写一个Python程序,该程序将在一个示例网站中收集尽可能多的徽标。
目标
编写一个程序,将对网站列表进行爬网并输出其徽标URL。
该程序应在STDIN上读取域名,并向STDOUT写入域CSV和徽标URL。
包含一个websites.csv列表作为要爬网的示例。
您不一定总能做到正确,但要尽量保持准确性和高召回率。 准备说明可以改进的方法。 奖励积分(如果可以衡量)。
当您扩展到数百万个网站时,请准备好讨论瓶颈。 您无需实现所有优化,但可以讨论将其扩展到生产的下一步。
Favicon并不是徽标的适当替代品,但是,如果您选择,则将其提取为附加字段也很有价值。
花费一些时间来实现那些很耗时的功能,但是请记下它们,以便我们讨论这些想法。
请使用python实现。
除非您有必要添加依赖项,否则请使第三方的依赖项保持最小。
我们使用进
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台,提供交流渠道,下载内容来自于网络,除下载问题外,其它问题请自行百度。
- 本站已设置防盗链,请勿用迅雷、QQ旋风等多线程下载软件下载资源,下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载,请稍后再次尝试;或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎,请到消费记录里找到下载记录反馈给我们,经确认后退回积分.
- 如下载前有疑问,可以通过点击"提供者"的名字,查看对方的联系方式,联系对方咨询.