reddit_crawler:一个用于从子redredit收集评论线程的项目，目的是为了进行社交网络分析和定性编码而开发

reddit_crawler 一个用于从子redredit收集评论线程的项目，目的是为了进行社交网络分析和定性编码而开发。 命令行参数 Subreddit 用法：-a subreddit = NAME 指定要爬网的子reddit。 （例如， //reddit.com/r/python应该是-a subreddit = python） 页数 用法：-a pages = INT 要爬网的页面数。 这里的页面指的是导航栏上的“下一页”链接，而不是要刮擦的线程数，通常要遵循的链接或爬网深度。 因此，例如，如果您想返回3页并从中擦除所有注释线程，则可以使用-a pages = 3。 流水线 JsonExport管道 默认管道。 使用JsonLinesItemExporter（）将抓取的数据输出到tmp / export.json中。 PostgresExport管道 要使用该数据库，用户和