exchange:Bigram交换算法

交换词聚类算法的高效C ++实现 通过在类之间交换单词来优化bigram的困惑。 评估可以在多个线程中并行进行。 使用词类和类词统计信息来提高效率。 每行假定一个句子。 如果语料库中不存在句子，则将开始和结束标记（ <s>和</s> ）添加到每行。 困惑度值包括句子结尾符号。 更多细节： Martin，Liermann，Ney：bigram和trigram词聚类算法，语音通信1998 Botros，Irie，Sundermeyer，Ney：关于单词类的有效训练及其在递归神经网络语言模型中的应用，Interspeech 2015 编译可执行文件 要求 提供的Makefile可与具有C ++ 11支持的GCC编译器一起使用，例如GCC 4.6或更高版本。 也应该在MinGW上工作。 Zlib库和头文件。 在linux系统上，这些通常包含在软件包zlib1g和zlib1g-dev 。 s