文件名称:
compendia-scraper:Web抓取工具，可从PreviewsWorld抓取新版本，将它们解析为JSON，然后将其提交到PostgreSQL数据库-源码
开发工具:
文件大小: 133kb
下载次数: 0
上传时间: 2021-03-31
详细说明：Compendia网页抓取工具
关于
这个网络抓取工具每周都会抓取页面，以获取计划在该周的漫画店发行的美国漫画书，并将其解析为JSON数据。 解析完成后，所有漫画都将保存到“暂存版本” JSON文件中，可以在其中手动检查它们是否存在任何错误，然后将其提交到PostgreSQL数据库，其封面由AWS S3托管。 使用它作为数据源。
如何使用
解析发布并将它们提交到数据库：
克隆此存储库并安装所有依赖项
将PostgreSQL和AWS S3环境变量添加到.env文件
运行“ npm run parse”以抓取这些发行版，并将其解析为在/log/todays-date-StagedReleases.json下找到的JSON。
手动查看/log/todays-date.log下的日志中是否有任何警告或错误，并在暂存的发行文件中解决它们
运行“ npm run commit”，将已发布的版本提交
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
相关搜索:
