rnn_lm:各种经过综合语法训练的简单RNN

RNN语言模型黑客 Reber语法 是RNN测试的旧标准。 特别是，我们将使用语法的嵌入式形式。 $ ./reber_grammar.py | head -n5 BPBPTVVEPE BPBTSSSXXVVEPE BTBTSSXXVPXVPXVPXTTTTVVETE BPBPVPSEPE BTBPTVVETE 语法的嵌入式形式中值得注意的一件事是，第二个记号始终与倒数第二个记号相同。 P或T。这是模型需要学习处理的长期依赖关系之一，尽管我们将看到对于某些模型来说这是微不足道的。 字符串的长度可能但大多数长度小于20（令人敬畏的 lib提供的 ） $ ./reber_grammar.py 100000 | perl -ne'print length($_)."\n";' | histogram.py # NumSamples = 100000; Min = 10.00; Max