1.机器翻译及相关技术
1.1数据预处理
读取数据，处理数据中的编码问题，并将无效的字符串删除
分词，分词的目的就是将字符串转换成单词组成的列表。目前有很多现成的分词工具可以直接使用，也可以直接按照空格进行分词(不推荐，因为分词不是很准确)
建立词典，将单词组成的列表编程单词id组成的列表，这里会得到如下几样东西
(1). 去重后词典，及其中单词对应的索引列表。
注：去重后排序作用：高频词的id在前，这样可以减少查询次数（相对于随机编码），训练word2vec中有个HUffman树，也是这个思想
(2). 还可以得到给定索引找到其对应的单词的列表，以及给定单词得到对应索引的字典。
(3). 原
