devsearch-concat:并行连接来自 devmine 的 repos

devsearch-concat 连接来自 DevMine 源存储库的源文件。 hdfs 上的块大小至少为 64MB。 出于这个原因，如果我们想使用 spark 或 hadoop 的 MapReduce 运行一些大型计算，我们需要将小文件连接成更适合 hdfs 的大文件。 devsearch-concat 将遍历由 DevMine 的 crawld ( ) 提供的 GitHub 数据，并过滤掉所有不是文本或太大而无法成为人类可读代码的文件。 然后它将使用这些文件创建大小至少为 128MB 的 tarball。 devsearch-concat 假定目录结构如下： REPO_ROOT └── Language Folder └── Github User └── Repository 存储库可以是普通目录或 tar 档案。 生成的 tar 存档中的所有