content-record-scraper

内容记录抓取器 介绍 该存储库包含一个抓取器，它将从Content Record DAC抓取信息。 它将定期下载内容记录使用的索引和页面文件，并将其持久保存在Mongo数据库中。 资料模型 在mongo数据库中，将有三个集合： content interactions users 在content集合中，我们跟踪创建的所有内容，在interactions集合中，我们跟踪与该内容发生的所有交互。 在users集合中，我们跟踪所有用户，并保持状态。 此状态可防止抓取工具不必要地重新索引已编制索引的内容和/或交互。 用户非常重要，因为需要将其喂入刮板。 抓取工具不会自行扩展用户，它只会扫描内容记录以查找已知的用户，并保持最新状态。 建筑学 刮板是围绕两个cronjobs构建的： 提取skapps 获取条目 Fetch skapps仅有一项工作是更新用户的skapp列表。 skapp