HN-Scraper:在 Elixir 中抓取 HackerNews 的热门帖子

HNScraper 这个 Elixir 模块每小时抓取 HackerNews 的前 500 个帖子，然后： 删除除撇号和下划线之外的所有标点符号 使所有字母小写 删除单字母单词 从每个帖子的标题，然后将这些词与帖子 ID 和 URL 一起放入数据库（Postgres）中。 根据 ID 抓取前 500 个帖子，并过滤掉数据库中已存在的任何帖子 ID。 然后，检索帖子的实际详细信息。 如果帖子不是故事（即民意调查、工作或询问），则将其过滤掉。 如果帖子的 URL 已经在数据库中，那么它会被过滤掉。 然后，将帖子标题的单词连同帖子 ID 和关联的 URL 放入数据库中。 表 Postgres 表描述如下。 如果我的模式很糟糕，我很抱歉，我对 SQL 的经验并不丰富。 Words 柱子 类型 修饰符 ID 整数 非空默认 nextval('words_id_seq'::regclass)