wikipedia-parallel-titles:用于从维基百科跨语言文章标题中提取平行语料库的工具

维基百科平行标题 本文档描述了如何使用这些工具根据维基百科中跨语言的文章标题构建平行语料库（针对特定语言对）。 下载必要的数据 维基百科会定期发布其内容的数据库转储。 要运行这些脚本，每个语言对需要两个文件：基本的每页数据，其中包括特定语言的文章 ID 及其标题（以-page.sql.gz结尾）和-page.sql.gz语言链接记录（文件以-langlinks.sql.gz结尾-langlinks.sql.gz ）。 要找到这些文件，请转至然后在该对中的一种语言中找到维基百科的数据库转储（建议使用较小的一种，因为这样可以加快处理速度）。 数据库备份通过将与单词wiki配对来命名。 例如，如果你想建立一个阿拉伯语-英语语料库，你应该从arwiki dump 下载相关文件，因为阿拉伯语文章比英语文章少。 例子： wget http://dumps.wikimedia.org/arwiki