Lua_Wikipedia_Iterator:用于将 WikiExtractor.py 输出目录中的纯文本维基百科文章提供到 L...

Lua_Wikipedia_Iterator 用于将 WikiExtractor.py 输出目录中的纯文本维基百科文章提供到 Lua 的小型库。 对于使用潜在海量维基百科语料库在 Torch 中训练语言模型非常有用，而无需将语料库加载到内存中。 示例用法 -- assuming you're in the directory above the cloned repository... package.path = package.path .. ';./Lua_Wikipedia_Iterator/?.lua' local wikipedia_corpus = require 'wikipedia_corpus' wc = wikipedia_corpus.new('Wikipedia_Text') ri = wc:make_random_iterator() -- iterate