Hathitrust-Bookworm:有关公共领域Hathitrust的全文书虫工作

Hathitrust书呆子 使用HathiTrust研究中心的提取特征数据集，HTRC Metadata API和设置Hathitrust全文Bookworm的。 该存储库仍在开发中并有文档记录，以帮助建立它，请联系 。 过程 Bookworm需要以下信息进行索引： jsoncatalog.txt ：集合中每个文档的元数据记录，都为JSON。 fielddescriptions ：JSON元数据的架构：为什么要使用各种字段，等等。 wordlist ：要索引的带编号的TSV令牌，包括总数。 （格式为num_id<TAB>token<TAB>count ）。 此列表中未包含的所有内容均未编制索引，并且编号与mysql将使用的内部ID匹配。 raw unigram ：每本书的数据，以doc_nametokencount进行组织。 可选：转换后的字母组合列表：通过Bookworm：将