lang:项目利用开源语言检测和 Carrot2 聚类库以 2 pass 的方式实现文档聚类。 第一遍一次对小批量（5000 个...

项目时间 2015 年 2 月至 5 月 ＃＃＃＃＃＃细节 项目利用开源语言检测和 Carrot2 聚类库以 2 pass 的方式实现文档聚类。 第一遍一次对小批量（5000 个文档）进行聚类，第二遍只使用聚类标签并将那些有效地创建 2 组聚类桶的标签聚类。 在聚类模块之前，语言检测模块确保如果检测到的语言具有超过 x%（在这种情况下 x 为 95）的置信度，则将其设为集合中文档的语言。 必须这样做，因为许多传入的英语新闻包含垃圾邮件或其他语言的相关内容。 然后将杂乱的桶写入文件，该文件由 Javascript 调用以进行可视化，以深入了解趋势演变、集群的相对大小和时间顺序信息 运行前：请注意，此处的输入是从 NoSQL Mongo 数据库中获取的，其确切字段和值已在 MongoClass 中被有意混淆，请进行您自己的相关初始化或使用另一个输入流来提供由 getDocsOfEng() 指定