一.前提条件
在kaldi目录下的子目录kaldi/egs/目录下保存着资源管理示例脚本。查看该目录中的README.txt文件,尤其是查看资源管理部分,它提到 与语料库相对应的LDC目录号。这可以从LDC获取数据。
进入rm目录,浏览README.txt文件查看整体结构,进入s5子目录,在s5目录中,列出并浏览RESULTS文件,以便对其中的内容有所了解。其中最重要的文件是run.sh。注意,run.sh不能直接执行,必须手动执行文件中的一系列命令。
二.资料准备
首先,需要配置作业,如果没有安装GridEngine【分布式资源管理工具】,或者是使用较小的数据集进行实验,可以在shell上执行以下命令:
如果安装了GridEngine,则应将queue.pl文件与指定GridEngine驻留位置的参数一起使用。在这种情况下,执行以下命令【参数-q是示例,在实际应用中替换为GridEngine详细信息】:
train_cmd=" queue.pl -q all.q@a*.clsp.jhu.edu"
encode_cmd="queue.pl -q all.q@[ah]*.clsp.jhu.edu"
下一步是从rm语料库中创建测试和训练集。为此,执行以下命令【假设要测试的数据在./export/LDC/LDC2019S20/rm_comp/下,此数据可以去KALDI下载,需要付费】
命令:./local/rm_data_prep.sh /export/LDC/LDC2019S20/rm_comp/
执行成功后,会在当前目录下创建data的新目录。这个新目录包含三种主要的文件夹类型:
·local:包含当前数据的字典。
·train:从语料库中分割出来的用于训练的数据。
·test_*:从语料库中分割出来的数据,用于测试。
在数据目录下执行下面的命令:
cd local/dict
head lexicon.txt
head nonsilence_phones.txt
head silence_phones.txt
使用这些命令可以大致了解通用数据准备过程的输出。应该意识到,并非所有的这些文件都是本地Kaldi格式,即,并非所有文件都可以被Kaldi的C++程序读取,部分还需要使用Kaldi之前使用OpenFST工具进行处理。
lexicon.txt:词典
*silence*.txt:这些文件包含有关电话静音已经保持静音的信息。
在train目录下,执行以下命令:
head text
head spk2gender
head spk2utt
head utt2spk
head wav.scp
·text:该文件包含发声和发声ID之间的映射,这些映射将由Kaldi使用。该文件将转换为整数格式,但仍然是文本文件,单词将被替换为整数。
·spk2gender:该文件包含说话人及其性别之间的映射。这将充当参与培训的唯一用户列表。
.spk2utt:这是说话者标识符与说话者相关的所有话语标识符之间的映射。
.utt2spk:这是发话ID与相应说话者标识符之间的一对一映射。
·wav.scp-Kaldi程序在进行特征提取时实际上直接读取该文件。再次查看该文件,它被解析成一组键值对,其中键是每一行的第一个字符串。该值是一种“扩展文件名”。请注意,尽管我们使用扩展名.scp,但从HTK的角度来看,它不是脚本文件。
train文件夹和test_*文件夹的结构相同。但是,train数据的大小明显大于test_*数据。可以通过返回数据目录并执行以下命令来验证这一点,该命令将给出训练集和测试集的字数:wc train/text test_feb89/text
下一步是创建Kaldi使用的原始语言文件。在大多数情况下,这些文件将是整数格式的文本文件。确保返回到s5目录,并执行以下命令:
utils/prepare_lang.sh data/local/dict '!SIL' data/local/lang data/lang
这将在本地文件夹中创建一个名为lang的新文件夹,其中将包含描述所用语言的FST。看一下脚本。它将以data/创建的某些文件转化为Kaldi读取的规范形式。该脚本在data/lang/目录中创建其输出。该脚本创建的前两个文件称为words.txt和phones.txt【都在data/lang/下】。这些是OpenFst格式的符号表,表示从字符串到整数再到整数的映射。查看这些文件,它们很重要并且会经常使用。
查看后缀为.csl的文件【在data/lang/phones中】,这些分别是冒号分隔的非静音和静音电话的整数ID列表。有时需要它们作为程序命令行上的选项,以及其它目的。
查看phone.txt【在data/lang/中】,该文件是电话符号表,还处理标准FST中使用的"消歧符号"。这些符号通常称为#1,#2等。其中符号#0用来替换语言模型中的epsilon转换。
文件L.fst是FST格式的编译词典。要查看其中包含哪种信息,可以执行以下操作:
fstprint --isymbols=data/lang/phones.txt --osymbols=data/lang/words.txt data/lang/L.fst | head
如果bash找不到命令fstprint,则需要将OpenFST的安装路径添加到PATH环境变量中。只需要运行脚本path.sh即可:
../path.sh
下一步是使用在上一步中创建的文件来创建描述该语言语法的FST。为此,返回目录s5并执行以下命令:
./local/rm_prepare_gtammar.sh
如果成功,则应该返回消息"成功为RM准备语法"。将在/data/lang中创建一个名为G.fst的新文件。
三.特征提取
1.提取训练功能
export featdir=/my/disk/rm_mfccdir # make sure featdir exists and is somewhere you can write. # can be local if you want. mkdir $featdir for x in test_mar87 test_oct87 test_feb89 test_oct89 test_feb91 test_sep92 train; do steps/make_mfcc.sh --nj 8 --cmd "run.pl" data/$x exp/make_mfcc/$x $featdir; steps/compute_cmvn_stats.sh data/$x exp/make_mfcc/$x $featdir; done
运行这些作业,它们并行使用多个CPU,可以根据计算机的CPU数量更改-nj选项【指定要运行的作业数量】。查看文件exp /make_mfcc/train/make_mfcc.1.log以查看创建MFCC程序的日志输出。
2.核心概念
表的概念是基础脚本和归档文件。表格基本上是一组有序的项目,由唯一的字符串索引。Table并不是真正的C++对象,因为有单独的C++对象来访问数据,具体取决于我们是编写、迭代还是进行随机访问。类型的示例数据如下:
BaseFloatMatrixWriter
RandomAccessBaseFloatMatrixReader
SequentialBaseFloatMatrixReader
这些类型都是实际为模板类的typedef。脚本【.scp】文件或存档【.ark】文件都被视为数据表。格式如下:
·脚本格式是纯文本格式,其中包含带有键的行,然后是扩展文件名,该文件名告诉Kaldi在哪里可以找到数据。
·存档格式可以是文本或二进制。格式为键+空格+对象数据。
有关脚本和档案的一些一般要点:
·指定如何读取表的字符串称为rspecifier。例如:ark:gunzip -c my/dir/foo.ark.gz|
·指定如何编写表的字符串称为wspecifier。例如:ark,t:foo.ark
·归档可以串联在一起,仍然是有效的归档。
·该代码可以顺序或通过随机访问读取脚本和存档。用户级代码仅知道它是在迭代还是在进行查找。它不知道它是在访问脚本还是存档。
·Kaldi不会尝试在归档文件中表示对象类型。必须提前知道对象类型。
·归档文件和脚本文件不能包含类型的混合。
·由于代码可能必须将对象缓存在内存中,因此通过随机访问读取档案可能会导致内存效率低下。
·为了有效地随机访问档案,可以使用ark,scp写入机制来写入相应的脚步文件。然后通过scp文件访问它。
·避免对文档进行随机访问时内存中缓存了大量数据。
·对代码文档进行排序并且按照顺序进行调用。
·读写档案的类型以Holder类型为模板,该类型知道如何读取和写入相关对象。