TF-IDF理解及其Java实现代码实例

TF-IDF理解及其Java实现代码实例 TF-IDF（Term Frequency-Inverse Document Frequency）是一种常用的加权技术，在资讯检索和资讯探勘领域中具有非常重要的地位。TF-IDF的主要思想是：如果某个词或短语在一篇文章中出现的频率高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。 TF-IDF实际上是TF和IDF的乘积。TF表示词条在文档中的出现频率，而IDF表示词条在整个语料库中的稀有度。TF公式为： TF = (词条在文件中的出现次数) / (文件中的所有字词的出现次数之和) IDF公式为： IDF = log(|D| / (包含词语ti的文件数目)) 其中，|D|表示语料库中的文件总数，ni表示包含词语ti的文件数目。 在Java实现中，我们可以使用IKAnalyzer-2012.jar这个外部插件来进行分词。下面是一个简单的Java实现代码： 我们需要读取文件目录下的所有文件，并将其存储在List中： ```java public class ReadFiles { private static ArrayList<String> FileList = new ArrayList<String>(); public static List<String> readDirs(String filepath) throws FileNotFoundException, IOException { // 读取文件目录下的所有文件 File file = new File(filepath); if (!file.isDirectory()) { System.out.println("输入的不是目录"); System.out.println("filepath:" + file.getAbsolutePath()); } else { String[] flist = file.list(); for (int i = 0; i < flist.length; i++) { File newfile = new File(filepath + "\\" + flist[i]); if (!newfile.isDirectory()) { FileList.add(newfile.getAbsolutePath()); } else if (newfile.isDirectory()) { readDirs(filepath + "\\" + flist[i]); } } } return FileList; } } ``` 然后，我们需要读取每个文件的内容，并对其进行分词： ```java public class ReadFile { public static String readFile(String file) { // 读取文件内容 File f = new File(file); StringBuilder sb = new StringBuilder(); try (BufferedReader reader = new BufferedReader(new FileReader(f))) { String line; while ((line = reader.readLine()) != null) { sb.append(line); } } catch (IOException e) { e.printStackTrace(); } return sb.toString(); } } ``` 我们可以使用IKAnalyzer-2012.jar来对文件内容进行分词，并计算TF-IDF值： ```java public class TFIDF { public static void main(String[] args) throws Exception { // 读取文件目录下的所有文件 List<String> fileList = ReadFiles.readDirs("文件目录路径"); // 对每个文件进行分词和TF-IDF计算 for (String file : fileList) { String content = ReadFile.readFile(file); // 使用IKAnalyzer-2012.jar进行分词 IKAnalyzer analyzer = new IKAnalyzer(); String[] words = analyzer.segment(content); // 计算TF-IDF值 double tfIdf = 0.0; for (String word : words) { // 计算TF值 int tf = 0; for (String w : words) { if (w.equals(word)) { tf++; } } tf = tf / words.length; // 计算IDF值 int ni = 0; for (String f : fileList) { if (ReadFile.readFile(f).contains(word)) { ni++; } } double idf = Math.log((double) fileList.size() / ni); // 计算TF-IDF值 tfIdf += tf * idf; } System.out.println("TF-IDF值：" + tfIdf); } } } ``` 在上面的代码中，我们使用IKAnalyzer-2012.jar来对文件内容进行分词，然后计算每个词条的TF-IDF值。TF-IDF值越高，表示该词条在文档中的重要性越高，可以用来分类和文本分析等应用中。