中文分词-基于互信息+邻接信息熵实现的中文分词算法-附项目源码-优质项目实战.zip

# SegAndNewWordDiscover ���ڻ���Ϣ���ڽ���Ϣ�ص����ķִʺ��´ʷ��� ����о������޴ʵ�ִʣ�����һЩ���ĺͲ������£�����ѡȡ�˻��� ����Ϣ�������ڽ���Ϣ�صķ��������ִʣ��������ձ������������ϴﵽ��һ���ȽϺõ�Ч�������ֻ����������ȡ�����´ʷ���Ч������������ִʸ��á� ## �������� ### ����Ϣ �����ص����������� H��X��Y����H��X����H��Y|X����H��Y����H��X|Y�� ��ˣ� H��X��-H��X|Y����H��Y��-H��Y|X�� ��������X��Y�Ļ���Ϣ��mutual information, MI��������I��X��Y���� ���߶���Ϊ�������X��Y����p��x, y������X��Y֮��Ļ���ϢI��X�� Y����H��X��-H��X|Y���� I��X��Y����ӳ������֪����Y��ֵ�Ժ�X�IJ�ȷ���Եļ��������� ������ΪY��ֵ͸¶�˶��ٹ���X����Ϣ����   �����������֮��Ļ���Ϣ�ܹ���ӳ�������������֮������۶ȣ����Ժ������Ƿ����ڲ��ɴʡ��磺"���ϴ�ѧ"�����ܵ������ {�У��ϴ�ѧ}��{���ϣ���ѧ}��{���ϴ�ѧ} ���ִ� "���ϴ�ѧ"�Ļ���ϢΪ ���п�����ϵ��ۼƺ͡� ### ��Ϣ�� 1948 �꣬��ũ����ˡ���Ϣ�ء�(Shannon entropy/Information entropy) �ĸ���Ž���˶���Ϣ�������������⡣һ����Ϣ����Ϣ����С�����IJ�ȷ������ֱ�ӵĹ�ϵ������˵������Ҫ�����һ���dz��dz���ȷ�����£���������һ����֪�����飬����Ҫ�˽��������Ϣ���෴��������Ƕ�ij�����Ѿ����˽϶���˽⣬���Dz���Ҫ̫�����Ϣ���ܰ�������������ԣ�������Ƕȣ����ǿ�����Ϊ����Ϣ���Ķ����͵��ڲ�ȷ���ԵĶ��١� ##H(x) = E[I(xi)] = E[ log(2,1/p(xi)) ] = -��p(xi)log(2,p(xi)) (i=1,2,..n) ͨ�������ѡ�ַ���������������Ϣ�ؿ��Դ��ⲿ�жϸ��ַ��������ɶȣ����ɶ�Խ�ߣ��������Ǹ��ַ������ⲿ�ַ��Ķ����̶ȣ����ɳ̶�Խ�ߣ��ú�ѡ��Խ������һ���ʣ�������Ϊ����߽�Ķ����� >��������Ϣ��������һ���ı�Ƭ�ε������ּ��Ϻ������ּ����ж������������ôһ�仰�������Ѳ�������Ƥ�������ѵ�������Ƥ���������ѡ�һ�ʳ������ĴΣ����������ֱַ�Ϊ {��, ��, ��, ��} �������ֱַ�Ϊ {��, Ƥ, ��, Ƥ} �����ݹ�ʽ�������ѡ�һ�ʵ������ֵ���Ϣ��Ϊ �C (1/2) �� log(1/2) �C (1/2) �� log(1/2) �� 0.693 �����������ֵ���Ϣ����Ϊ �C (1/2) �� log(1/2) �C (1/4) �� log(1/4) �C (1/4) �� log(1/4) �� 1.04 ���ɼ�������������У������ѡ�һ�ʵ������ָ��ӷḻһЩ�� ��������������У����ѵ���������Ϣ������ȡ������Ϣ�غ�������Ϣ�ص���Сֵ0.693�� ### trie�� trie���ֽ��ֵ�����ǰ׺���������ķִʵ���������õ������ݽṹ���ֵ����ж���ʵ�֣�˫�����ֵ����ﵽ��ʱ����ռ��һ��ƽ�⡣���ֵ�����Ҫ������˽���Բο� [С����� Trie ��](https://segmentfault.com/a/1190000008877595)���Ҿ��ý��ú�͸���ˡ� ## ���ʵս ���γ�ʴӵ����ڲ����۶Ⱥ��ⲿ���ɶȽǶȽ��к�ѡ�ִ���ɸѡ�������ѡ�ʴ��Ļ���Ϣ(ָʾ�˺�ѡ�ִ����ڲ����۶�)�������ѡ�ִ�����������Ϣ��(ָʾ�˺�ѡ�ִ����ⲿ���ɶ�)��ͨ������Ϣ�� ��Ϣ����ֵ���˵����Բ�����Ҫ��ĺ�ѡ�ʴ�����ʣ�µĺ�ѡ�ʴ���ͨ����һ�����ֶεõ����ǵķ��������ͨ�������Ӵ�С���򣬵ó����յij�ʽ���� ����ij�ʲ��裺 ##### 1.�Դ�����ı�����Ԥ����(�������ı�Խ��Ч��Խ�ã���Ϊ���IJ��õ��ǻ���ͳ�Ƶķ���)��ȥ���������ַ������º�ѡ��Ƭ�Ρ� ����ԭ���ӣ�����������CEO�ĵ�ɭ12��������δ��������������������г�Ͷ��70����Ԫ ������ʹ�����µ����ڵ�Ʒ�Ƶ�2018��ʵ�������100������Ŀ�ꡣ����������� >�������������� ���ĵ�ɭ���� ������������ ��δ��������������������г�Ͷ�ʡ��� ������Ԫ���� ������ʹ�����µ����ڵ�Ʒ�Ƶ����� ����ʵ����������� ��������Ŀ�ꡱ�� �õ�������ʾ�İ˸���ѡ�̾䡣 ##### 2.�Ժ�ѡ�̾���nGram ��ʽ����FMM����ȡ�ʣ���ͳ�ƺ�ѡ�ʵĴ�Ƶ ``` // �зִ� FMM �㷨 public static void FMMSegment(String text, boolean countWordFrequency) { // ����ͳ�Ƶ����ֵĴ�Ƶ wordCountSingleWord(text); if (text.length() == 1) { return; } int temp_max_len = Math.min(text.length() + 1, MAX_WORD_LEN); int p = 0; while (p < text.length()) { int q = 1; while (q < temp_max_len) { // ����ȡ�ʵij��� if (q == 1) { q++; continue; // ����Ϊ1�Թ�,�������ֲ����зִ����� } // ȡ�ʴ� p --> p+q if (p + q > text.length()) { break; } String strChar = text.substring(p, p + q); // ͳ�ƴʴ��Ĵ�Ƶ if (countWordFrequency) { if (wcMap.containsKey(strChar)) { wcMap.put(strChar, wcMap.get(strChar) + 1); } else { wcMap.put(strChar, 1);