4 CONTENTS
2.3.4 Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.4 Experiment Management System . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.4.2 Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.4.3 Quick Start . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
2.4.4 More Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
2.4.5 Try a Few More Things . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
2.4.6 A Short Manual . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
2.5 Support Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
2.5.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
2.5.2 Content . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
2.5.3 Converting Pharaoh configuration files to Moses configuration files . . . 68
2.5.4 Moses decoder in parallel . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
2.5.5 Filtering phrase tables for Moses . . . . . . . . . . . . . . . . . . . . . . . . 69
2.5.6 Reducing and Extending the Number of Factors . . . . . . . . . . . . . . . 69
2.5.7 Scoring translations with BLEU . . . . . . . . . . . . . . . . . . . . . . . . 69
2.5.8 Missing and Extra N-Grams . . . . . . . . . . . . . . . . . . . . . . . . . . 70
2.5.9 Making a Full Local Clone of Moses Model + ini File . . . . . . . . . . . . 70
2.5.10 Absolutizing Paths in moses.ini . . . . . . . . . . . . . . . . . . . . . . . . 70
2.5.11 Printing Statistics about Model Components . . . . . . . . . . . . . . . . . 70
2.5.12 Recaser . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
2.5.13 Truecaser . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
2.5.14 Searchgraph to DOT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
2.6 External Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
2.6.1 Berkeley Word Aligner . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
2.6.2 Multi-threaded GIZA++ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
2.6.3 Evaluation Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
2.6.4 Part-of-Speech Taggers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
2.6.5 Syntactic Parsers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
2.6.6 Other Machine Translation Systems . . . . . . . . . . . . . . . . . . . . . . 77
2.7 Advanced Features of the Decoder . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
2.7.1 Content . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
2.7.2 Lexicalized Reordering Models . . . . . . . . . . . . . . . . . . . . . . . . 79
2.7.3 Binary Phrase Tables with On-demand Loading . . . . . . . . . . . . . . . 81
2.7.4 Binary Reordering Tables with On-demand Loading . . . . . . . . . . . . 82
2.7.5 XML Markup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
2.7.6 Generating n-Best Lists . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
2.7.7 Word-to-word alignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
2.7.8 Minimum Bayes Risk Decoding . . . . . . . . . . . . . . . . . . . . . . . . 86
2.7.9 Lattice MBR and Consensus Decoding . . . . . . . . . . . . . . . . . . . . 87
2.7.10 Handling Unknown Words . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
2.7.11 Output Search Graph . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
2.7.12 Early Discarding of Hypotheses . . . . . . . . . . . . . . . . . . . . . . . . 90
2.7.13 Maintaining stack diversity . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
2.7.14 Cube Pruning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
2.7.15 Specifying Reordering Constraints . . . . . . . . . . . . . . . . . . . . . . . 91
2.7.16 Multiple Translation Tables and Backoff Models . . . . . . . . . . . . . . . 92
2.7.17 Pruning the Translation Table . . . . . . . . . . . . . . . . . . . . . . . . . 94