Kaldi决策树状态绑定学习笔记资源-CSDN文库

共4个文件

pdf：4个

Kaldi

状态绑定

4星 · 超过85%的资源需积分: 50 108 浏览量 2017-04-08 11:51:34 上传评论 4 收藏 5.58MB ZIP 举报

资源推荐

资源详情

资源评论

收起资源包目录

Kaldi决策树状态绑定学习笔记.zip （4个子文件）

2 Kaldi决策树状态绑定学习笔记.pdf 1.54MB

4 Kaldi决策树状态绑定学习笔记.pdf 2.6MB

3 Kaldi决策树状态绑定学习笔记.pdf 717KB

1 Kaldi决策树状态绑定学习笔记.pdf 971KB

Kaldi 决策树状态绑定学习笔记（四）

——如何构建决策树？

到现在为止，程序 acc-tree-stats 累积好了构建决策树所需的统计量，程序

cluster-phones 和 compile-questions 自动生成好了构建决策树所需的问题集，我

们也准备好了 roots.int 文件，那么我们就可以开始构建决策树，对三音素 GMM

的状态进行绑定。这次笔记的主要内容是讲解 Kaldi 如何构建决策树，实现对三

音素 GMM 状态的绑定。

在这个笔记中，首先我会介绍构建决策树的主程序 build-tree 和主函数

BuildTree()，然后介绍主函数中用到的核心函数 GetStubMap()和 SplitDecisionTree()。

建议学习 Kaldi 官方文档《Decision tree internals》的 Classes and functions

involved in tree-building 部分，官方文档《How decision trees are used in Kaldi》和

论文《Tree-Based State Tying For High Accuracy Acoustic Modelling》S.J.Young 的第

三部分 Tree-BasedClustering。

build-tree ....................................................................................................................... 1

BuildTree() ...................................................................................................................... 2

GetStubMap() ................................................................................................................ 3

SplitDecisionTree() ......................................................................................................... 5

build-tree

 作用：构建决策树

 输入：累积的统计量 treeacc、问题集 questions.qst、roots.int、HMM 拓扑 topo

 输出：决策树 tree

 示例：

build-tree $context_opts --verbose=1 --max-leaves=$numleaves \

--cluster-thresh=$cluster_thresh $dir/treeacc $lang/phones/roots.int \

$dir/questions.qst $lang/topo $dir/tree

 过程：

1. 读取 roots.int，得到 1)vector<vector<int>> phone_sets，其一个元素包含

roots.int 的一行上的所有音素；2)vector<bool> is_shared_root，其一个元素

指明该行的音素是否共享三个 HMM 状态的决策树树根；3)vector<bool>

is_split_root，其一个元素指明是否对该行音素对应的决策树树根进行划分。

2. 读取 topo 文件，得到保存 HMM 拓扑结构的对象 HmmTopology topo，一

般音素的 HMM 状态为三个，我们实验室只有 SIL 和 SPH 的 HMM 状态为

五个。

3. 读取 treeacc，得到累积的统计量 BuildTreeStatsType stats。

4. 读取 questions.qst，得到 Questions qo。

5. 调用 topo.GetPhoneToNumPdfClasses(&phone2num_pdf_classes) 得到

vector<int> phone2num_pdf_classes，其元素保存每个音素对应的 HMM 状

态数（前面说了，除了音素 SIL 和 SPH 的 HMM 状态数为 5，其他均为 3）。

6. 调用 BuildTree()，返回保存整个大决策树的 EventMap *to_pdf。

7. 用 to_pdf 初始化对象 ContextDependency ctx_dep(N, P, to_pdf)，并将

ctx_dep 写到文件 tree。Kaldi 用类 ContextDependency 对决策树进行封装，

其数据成员包含音素宽度 N_(=3)、中间音素位置 P_(=1)、决策树 to_pdf_。

BuildTree()

EventMap *BuildTree(Questions &qopts,

const std::vector<std::vector<int32> > &phone_sets,

const std::vector<int32> &phone2num_pdf_classes,

const std::vector<bool> &share_roots,

const std::vector<bool> &do_split,

const BuildTreeStatsType &stats,

BaseFloat thresh,

int32 max_leaves,

BaseFloat cluster_thresh, // typically == thresh. If

negative, use smallest split.

int32 P)

建议阅读 Kaldi 官方文档《Decision tree internals》的 Classes and functions involved

in tree-building 部分。在 build-tree 中调用 BuildTree()时传递的参数：

to_pdf = BuildTree(qo,

phone_sets,

phone2num_pdf_classes,

is_shared_root,

is_split_root,

stats,

thresh,

max_leaves,

cluster_thresh,

P);

 分块解析：

1. 调用 GetStubMap()得到初始的决策树 EventMap *tree_stub，也就是扩展前的

决策树。扩展前的决策树的一个叶子结点对应 roots.int 中的一行的决策树的

树根。后面给出该函数的进一步解释，其中附带 GetStubMap()生成的决策树

D 的图片。建议先跳到后面看懂此函数。

2. 调用 FliterStatsByKey()，只把在 roots.int 中指定为 split 的音素的统计量留下，

把指定为 not-split 的音素的统计量丢弃。因为我们实验室都是 split，所以这

一步什么都没做。

3. 调用 SplitDecisionTree()，对 tree_stub 进行扩展，生成整个大的决策树

EventMap *tree_split：把 tree_stub 的每个叶子结点扩展成决策树，对每一个

音素生成实际的决策树。后面给出该函数的进一步解释，其中附带相关图片，

尽力使该函数的代码变得直观。建议先跳到后面看懂此函数。

4. 调用 ClusterEventMapRestrictedByMap()，对 tree_split 每个音素的决策树上的

某些叶子结点进行合并（请参考一开始提到的论文），得到 EventMap

*tree_clustered。合并前的 CE 均有不同的 answer_，也就是 pdf-id 不同，合并

后某些 CE 的 answer_相同，相同则说明这些叶子结点合并了。这块代码我并

没有像之前那样看得很深，只是明白了其作用是什么。有兴趣的读者可以参

考我在最后列出的手写笔记草稿的相关部分。

5. 调用 RenumberEventMap()对 tree_clustered的叶子结点重新编号（从 0开始），

得到 EventMap *tree_renumbered，这就是我们最终得到的完整的决策树。把

tree_renumbered 返回到主程序 build-tree。

GetStubMap()

EventMap *GetStubMap(int32 P,

const std::vector<std::vector<int32> > &phone_sets,

const std::vector<int32> &phone2num_pdf_classes,

const std::vector<bool> &share_roots,

int32 *num_leaves_out)

根据从论文中学习到的决策树状态绑定的理论，我们需要对每个音素的每个

HMM 状态构建一个决策树，假如有 63 个音素，每个音素有 3 个 HMM 状态的

话，我们总共应该构建 63x3=189 个决策树；但是 Kaldi 中允许不同 HMM 状态共

享同一个决策树根，并且允许在该决策树上的非叶子结点对 HMM 状态问问题，

假如有 63 个音素，并且每个音素的 HMM 状态都共享决策树根的话，则我们只

需要构建 63 个决策树。这 63 个决策树该怎么保存呢？我们可以一个一个写到

文件中。但是 Kaldi 决定把这 63 个决策树也用一棵决策树 D 表示——D 有 63 个

叶子结点，每个叶子结点都作为 63 个决策树的树根。

GetStubMap()的作用就是构建决策树 D，使其每个叶子结点都对应 roots.int

中的一行的决策树的树根，换句话说，我们本应为 roots.int 中的一行构建一个决

策树 d，现在用决策树 D 的叶子结点保存决策树 d 的树根。决策树 D 的作用只是

把 63 个不同的决策树放在一起，随后的代码对决策树 D 的每个叶子结点进行扩

展，在 D 的叶子结点上构建属于每个音素的实际的决策树。

有了上面的理解，按照代码注释里的说法，我们对该函数的作用再重复一遍：

GetStubMap()对每一个音素集创建一个初始的叶子结点，一个音素集就是

roots.int 中的一行中的音素的集合。

上面介绍了 GetStubMap()的作用，现在对 GetStubMap()的代码进行分析，并

给出该函数实际得到的决策树的图片，希望对决策树能有一个直观的认识。在阅

读该函数的代码时，内心时刻谨记递归调用。

以下把 ConstantEventMap 简称为 CE，TableEventMap 简称为 TE，SplitEventMap

简称为 SE。

该函数的核心代码分块三块，最外层 if 分支里的代码算一块，最外层 else if

分支里的代码算一块，最外层 else 分支里的代码算一块，其作用分别是创建叶子

结点 CE、创建非叶子结点 TE、创建非叶子结点 SE。

phone_sets 的一个元素是 roots.int 的一行上的全部音素，以我们实验室为

例，roots.int 有 63 行，则递归调用的最外层的 GetStubMap()的 phone_sets 有 63

个元素。

我们先来看最外层的 else 分支的代码。因为一开始 phone_sets.size()不为 1

而是 63，并且 max_set_size 不为 1（因为 roots.int 中有的行的音素数大于 1），所

以一开始我们进入的是 else 分支。一开始在 else 分支中，我们把 phone_sets 等

分成前后两份，前一半 phone_sets_1 包含 roots.int 的前 31 行，后一半

phone_sets_2 包含 roots.int 的后 32 行；然后对这两部分递归调用 GetStubMap()

得到两个子树 map1 和 map2；递归调用返回之后，我们创建一个非叶子结点 SE，

令其 key_是 1（也就是三音素的中间音素，记得我们要为每一个中间音素构建一

棵决策树），其 yes_set_是 phones_sets 的前一半 phone_sets_1 所包含的全部音

素，其 yes_孩子结点指向由 phone_sets_1 生成的子树，其 no_孩子结点指向由

phone_sets_2 生成的子树。我们用 SE 把 phone_sets 中的音素分为了两份。

扩展上面的过程，我们对 phone_sets_1 递归调用 GetStubMap()会发生什么？

我们依旧会进入 else 分支，对 phone_sets_1 进行二等分，然后创建一个新的 SE，

其 key_为 1，其 yes_set_是 phone_sets_1 的前一半（也就是 phone_sets 的前 1/4），

其 yes_孩子指向由 phone_sets_1 的前一半生成的子树，其 no_孩子结点指向由

phone_sets_1 的后一半生成的子树。对 phone_sets_2 递归调用 GetStubMap()，

对 phone_sets_1 的前一半、后一半递归调用 GetStubMap()……

随着递归调用的深度越深，我们不断生成新的 SE 对 phone_sets 进行划分，

直到 GetStubMap()的参数 phone_sets 只包含一个元素（也就是只包含 roots.int 中

的一行），这时，我们进入最外层的 if 分支。（在这里我们假设 roots.int 中的每一

行都指定 shared，所以我们只考虑最外层 if 分支里的 if 分支，而不考虑最外层 if

分支里的 else 分支。）进入最外层的 if 分支所干的事情就是创建一个叶子结点 CE，

并设该叶子结点的 answer_为 num_leaves_out，也就是设该叶子结点的 pdf-id 为

num_leaves_out。假设此时 phone_sets 只包含的一个元素是 roots.int 的第一行，

我们生成第一个 CE，此时 num_leaves_out 为 0，则该 CE 的 answer_为 0。

那么 TableEventMap 有什么作用呢？从上面的过程我们发现，每次划分我们

只能创建两个孩子结点，包含 63 个元素的 phone_sets 要划分 5 次才能到达第一

个叶子结点，太慢了。我们的目的是创建 63 个叶子结点，每个叶子结点保存

roots.int 中的一行，随后对这 63 个叶子结点进行扩展，构建真正的决策树。那么

当某一次递归调用 GetStubMap()时我们发现 phone_sets 的 size()不为一但是其每

一个元素只包含一个音素，这时我们进入最外层的 else if 分支，生成一个 TE，令

其 key_为 1。假设此时的 phone_sets 中保存的是 roots.int 的第 41 行到第 46 行，

如下图所示，则生成的 TE 的 table_包含 150 个元素，第 0 到 144 个都为 NULL，

第 145 到 150 个都是 CE，我们一下子生成了 6 个叶子结点，比用 SE 划分快多

了。

调用 GetStubMap()生成的最终的决策树 D 大概如下图所示，这样我们就为

roots.int 中的 63 行的每一行生成了一个叶子结点，随后把这 63 个叶子结点扩展

成各自的决策树，我们就把 63 个决策树放在一个大的决策树中。

SplitDecisionTree()

EventMap *SplitDecisionTree(const EventMap &input_map,

评论收藏

内容反馈

sqqshuimusqq

2017-09-09

赞 kaldi决策树的解析讲的不错
liubingbing2015

2019-08-11

不错不错，挺好的
gubinbing

2018-07-10

不错不错。

开拓的博客

粉丝: 179
资源: 9

Kaldi决策树状态绑定学习笔记

决策树状态绑定学习笔记一

Kaldi决策树状态绑定学习笔记二

决策树状态绑定学习笔记（一）

kaldi资料合集

检测到不兼容的键盘驱动程序 该对话框已被停用

data_AI_shell中文语音数据集合14

人工智能语音识别训练好的模型.rar

决策树_Decision_Tree学习笔记

ch04 决策树_学习笔记1

Kaldi学习笔记1.md

Kaldi三音素GMM学习笔记

Kaldi单音素GMM学习笔记

Kaldi学习笔记1备份.md

kaldi中文资料_v0.4和thch30学习笔记.zip

Kaldi 学习-02.pdf

Kaldi 学习03.pdf

机器学习入门学习笔记：（3.2）ID3决策树程序实现-附件资源

kaldi语音识别资料.rar_kaldi_kaldi pdf 0.7_kaldi资料_语音识别

kaldi voxforge online demo

单音素GMM学习笔记

Kaldi 学习基础篇（二）--Shell 学习基础.pdf

kaldi-master.zip_kaldi_kaldi 源码_声纹识别_音频_音频识别

kaldi学习资料

Dan介绍Kaldi2的ppt

kaldi入门资料整理

kaldi自由说训练好的模型

Vector Davinci官方帮助配置使用手册（AutoSAR）.pdf

c++入门，核心，提高讲义笔记

最新资源

检测到不兼容的键盘驱动程序该对话框已被停用