compendia-scraper:Web抓取工具，可从PreviewsWorld抓取新版本，将它们解析为JSON，然后将其提交...

Compendia网页抓取工具 关于 这个网络抓取工具每周都会抓取页面，以获取计划在该周的漫画店发行的美国漫画书，并将其解析为JSON数据。 解析完成后，所有漫画都将保存到“暂存版本” JSON文件中，可以在其中手动检查它们是否存在任何错误，然后将其提交到PostgreSQL数据库，其封面由AWS S3托管。 使用它作为数据源。 如何使用 解析发布并将它们提交到数据库： 克隆此存储库并安装所有依赖项 将PostgreSQL和AWS S3环境变量添加到.env文件 运行“ npm run parse”以抓取这些发行版，并将其解析为在/log/todays-date-StagedReleases.json下找到的JSON。 手动查看/log/todays-date.log下的日志中是否有任何警告或错误，并在暂存的发行文件中解决它们 运行“ npm run commit”，将已发布的版本提交