subword-nmt:用于神经机器翻译和文本生成的无监督分词

子词神经机器翻译 该存储库包含预处理脚本，用于将文本分段为子词单元。 主要目的是促进带有子词单元的神经机器翻译实验的重现（请参阅下面的参考资料）。 安装 通过pip安装（来自PyPI）： pip install subword-nmt 通过pip安装（来自Github）： pip install https://github.com/rsennrich/subword-nmt/archive/master.zip 或者，克隆此存储库； 这些脚本可以独立执行。 使用说明 检查各个文件以获取使用说明。 要将字节对编码应用于分词，请调用以下命令： subword-nmt learn-bpe -s {num_operations} < {train_file} > {codes_file} subword-nmt apply-bpe -c {codes_file} < {test_file