tfidf:HadoopTF-IDF算法

TF-IDF（术语频率-逆文档频率），术语频率-逆文档频率（即，该术语在文档集合中出现的频率），是一种数字量度，表示单词与文档的相关性在一个集合中。 此度量通常用作信息检索和文本挖掘中的加权因子。 tf-idfa值与一个单词在文档中出现的次数成正比地增加，但是被文档集合中该单词的出现频率所抵消，从而使您可以处理一个事实，即某些单词通常比其他单词更常见。 算法tf * idf的执行：hadoop jar tfidf.jar en.mbit.tf_idf.TfIdfDriver / tmp /电影/ tmp / exitok 部分执行第一个过程：hadoop jar tfidf.jar en.mbit.tf_idf.proc1tf.WordFreqDriver / tmp /电影/ tmp / mov_result 第二个进程的部分执行：hadoop jar tfidf.jar en.m