语音信号处理期末考试复习内容
根据发音器官和语音产生机理，语音生成系统可以分为哪几个部分？各有什么特点？
激励系统：在声门以下，负责产生激励振动，浊音激励是以基音周期为周期的三角脉冲串，具有二阶低通滤波特性，清音激励为随机白噪声；
声道系统：由声门、喉、口腔、鼻腔等组成，负责对激励信号进行滤波、放大、频谱变形等处理，使其成为与语音信号相似的声音；
声学特征提取系统：对声道系统输出的语音信号进行分析，提取出一些与语音产生机理有关的特征，如基音周期、共振峰频率、线性预测系数等；
合成滤波器：根据语音产生机理，采用一定的算法，将声学特征转换为滤波器系数，再将激励信号通过滤波器合成语音信号。
什么是声强和声压？他们之间有什么关系？
声压：即为大气压强的余压，它相当于在大气压强上的叠加一个声波扰动引起的压强变化。
声强：声波平均能流密度的大小叫声强。声强对面积积分，则为单位时间内通过一定面积的的声波能量，因具有功率的单位，又叫做声功率。
声压（p）的平方=声强（I）×介质密度（ρ）×声速（C）。
在语音信号参数分析前，为什么要进行预处理？有哪些预处理过程？
预处理的目的是消除因为人类发声器官本身和由于采集语音信号的设备所带来的混叠、高次谐波失真、高频等等因素对语音信号质量的影响。尽可能保证后续语音处理得到的信号更均匀、平滑，为信号参数提取提供优质的参数，提高语音处理质量。
预处理过程包括：预加重、加窗、分帧等。预加重是为了强调高频部分，减少低频部分的影响；加窗是为了减少频谱泄漏；分帧是为了将语音信号分成多个短时段，使其具有平稳性
对语音信号进行处理时，为什么要进行分帧？分帧的常用方法是什么？
分帧的目的是把若干个语音采样点分为一帧，在这一帧内，语音信号的特性可以视为是稳定的。分帧可以方便有效地提取并表示语音信号所携带的信息。
常用的分帧方法有：固定帧长分帧、固定帧数分帧、固定帧重叠分帧、固定帧重叠且加窗分帧。
什么是矢量量化？它在语音信号处理中有什么用途？什么叫码本、码本尺寸和码字？如何分配矢量量化的各项技术指标？
矢量量化是一种数据压缩技术，它的基本思想是将若干个标量数据组构成一个矢量，然后在矢量空间给以整体量化，从而压缩了数据而不损失多少信息。矢量量化也是一种基于块编码规则的有损压缩方法。
矢量量化在语音信号处理中有很多用途，例如语音编码、语音识别和语音合成等 。矢量量化可以有效地降低语音信号的数据率，提高语音信号的质量和鲁棒性 。
码本是指所有可能的码矢的集合，每个码矢是一个k维向量，表示一个编码区域的中心或代表。码本尺寸是指码本中包含的码矢的个数，通常用N表示。码字是指每个码矢对应的二进制编码，用于传输或存储。
在分配矢量量化的各项技术指标时，需要根据具体应用场景和需求进行权衡。较大的码本尺寸和码字长度可以提供更好的表示能力，但会增加计算和存储开销。同时，需要通过设计合适的码本和选择合适的码本设计算法来最小化量化失真，以保证压缩后的数据质量。对于语音信号处理中的应用，通常需要根据实际情况进行实验和调优，选择适合的矢量量化参数和算法。
什么叫马尔可夫链？什么叫隐过程？什么叫隐马尔可夫过程？为什么说语音信号可以看成隐马尔可夫过程？隐马尔可夫模型有哪些模型参数？请叙述这些参数的含义和定义式。
马尔可夫链是一种数学模型，用于描述一系列随机事件的转移过程。该模型假设当前状态的概率只与上一个状态有关，与更早的状态无关。因此，该模型具有“无记忆性”的特点。
隐过程指的是系统内部的状态是未知的，只能通过观测到的一些外部特征来推断系统的状态。在隐马尔可夫过程中，系统内部的状态是未知的，而系统对外部的观测结果是可见的。
隐马尔可夫过程是一种随机过程，它包含两个随机过程：一个是隐马尔可夫链，描述系统内部的状态转移过程；另一个是观测过程，描述系统对外部观测结果的生成过程。由于系统内部的状态是未知的，因此我们需要借助观测过程来推断系统的状态。
语音信号可以看成隐马尔可夫过程，因为语音信号中的声音信号是由发音器官（如喉、口、鼻等）的运动所产生的声波，而这些运动的状态是不可见的。我们只能通过观测到的声音信号来推断说话者当前说的是哪个词语，这就是隐马尔可夫过程的应用之一。
隐马尔可夫模型有三个模型参数：
- 初始状态概率分布：表示系统初始时处于每个状态的概率分布，用向量π表示，其中πi表示系统初始时处于状态i的概率。
- 状态转移概率矩阵：表示系统从一个状态转移到另一个状态的概率，用矩阵A表示，其中Aij表示系统从状态i转移到状态j的概率。
- 观测概率矩阵：表示系统在每个状态下生成观测结果的概率分布，用矩阵B表示，其中Bij表示在状态i下生成观测结果j的概率。
定义式如下：
- 初始状态概率分布：π = [π1, π2, ..., πN]，其中N表示状态的个数。
- 状态转移概率矩阵：A = [aij]，其中aij表示系统从状态i转移到状态j的概率，满足∑jaij=1。
- 观测概率矩阵：B = [bij]，其中bij表示在状态i下生成观测结果j的概率，满足∑jbij=1。
在实际应用中，我们通常使用训练数据来估计这些参数，然后使用它们来预测未知数据的状态或生成序列。
给定一个输出符号序列，怎样计算HMM对于该符号序列的输出似然概率？
要计算隐马尔可夫模型（HMM）对于给定的输出符号序列的输出似然概率，可以使用前向算法（Forward Algorithm）。
假设我们有一个HMM模型，其中包含状态集合S、观测集合V、初始概率分布π、状态转移概率矩阵A和观测概率矩阵B。我们的目标是计算给定输出符号序列O={o1, o2, ..., oT}的似然概率P(O|λ)，其中λ表示HMM的模型参数。
前向算法的思想是递归地计算每个时刻的前向概率（Forward Probability）。前向概率表示在给定观测序列和当前时刻的状态下，到达当前时刻的概率。
以下是计算输出似然概率的前向算法步骤：
- 初始化：
初始化时刻t=1的前向概率，即α(1)：
α(1)(i) = π(i) * B(i, o1)，其中π(i)表示初始概率分布，B(i, o1)表示在状态si生成观测符号o1的概率。 - 递推计算：
对于每个时刻t=2到T，递推计算前向概率α(t)：
α(t)(j) = ∑[i=1 to N] (α(t-1)(i) * A(i, j) * B(j, ot))，
其中α(t)(j)表示在时刻t处于状态sj并且观测到序列o1到ot的前向概率，N是状态的个数，A(i, j)表示从状态si转移到状态sj的概率，B(j, ot)表示在状态sj生成观测符号ot的概率。 - 终止：
计算整个观测序列的输出似然概率P(O|λ)：
P(O|λ) = ∑[i=1 to N] α(T)(i)，
其中α(T)(i)表示在最终时刻T处于状态si的前向概率。
通过以上步骤，就可以计算出HMM对于给定输出符号序列的输出似然概率P(O|λ)。
为了应用HMM，有哪些基本算法？请叙述这些算法的工作原理。
为了应用HMM，常用的基本算法包括：前向算法、后向算法、Viterbi算法和Baum-Welch算法。这些算法的工作原理如下：
- 前向算法用于计算给定观测序列的概率。它通过递归地计算每个时刻的前向概率来实现。前向概率表示在给定观测序列和当前时刻的状态下，到达当前时刻的概率。前向算法从初始时刻开始，逐步计算每个时刻的前向概率，直到最终时刻。最终时刻的前向概率即为整个观测序列的概率。
- 后向算法用于计算给定观测序列的概率。它通过递归地计算每个时刻的后向概率（Backward Probability）来实现。后向概率表示在给定观测序列和当前时刻的状态下，从当前时刻出发，到达观测序列末尾的概率。后向算法从最终时刻开始，逐步计算每个时刻的后向概率，直到初始时刻。初始时刻的后向概率即为整个观测序列的概率。
- 维特比算法用于解码，即根据观测序列推断最可能的隐藏状态序列。它利用动态规划的思想，在每个时刻维护一个最大概率路径，通过递归地计算最大概率路径和最大概率状态转移来得到最可能的隐藏状态序列。维特比算法从初始时刻开始，逐步计算每个时刻的最大概率路径，直到最终时刻，然后回溯得到最可能的隐藏状态序列。
- Baum-Welch算法是一种无监督学习算法，用于估计HMM的模型参数。它基于观测序列，通过迭代计算前向概率、后向概率和状态转移概率的期望值来更新模型参数。具体地，Baum-Welch算法使用期望最大化（Expectation-Maximization，EM）的方法，不断迭代估计模型参数，直到收敛。
什么是Viterbi算法？为什么叫Viterbi算法? Viterbi算法是为了解决什么问题的？
Viterbi算法是一种基于动态规划的算法，用于计算隐马尔可夫模型(HMM)中给定观测序列的最可能状态序列。
Viterbi算法是由Andrew Viterbi在1967年提出的，因此得名为Viterbi算法。他是一位美国工程师和创业家，对数字通信和编码理论做出了重要贡献。
Viterbi算法的主要目的是解决HMM中的“解码”问题，即给定观测序列，如何找到最可能的状态序列。这个问题在很多实际应用中都很重要，例如语音识别、自然语言处理、生物信息学、金融风险分析等。
根据所分析出的参数的性质的不同，可将语音信号分析分为时域分析；频域分析；倒谱域分析；线性预测分析；根据分析方法的不同又可将语音信号分析分为模型分析方法和非模型分析方法两种。
简述语音信号的时域分析原理，特点，以及其常用参数的定义和原理。
语音信号的时域分析是指对语音信号在时间域的幅度和相位进行分析的过程。其基本原理是将语音信号分成若干个短时段，每个短时段内的语音信号视为定常信号，然后对每个短时段进行幅度和相位的分析。
时域分析的特点是能够反映出语音信号的瞬时变化特征，如音素的起始和终止边界、共振峰的位置和宽度等。常用的时域分析参数包括能量、过零率、自相关函数、线性预测系数等。
其中，能量是指短时信号的功率大小，通常用短时能量表示，其定义为信号幅度平方的时间平均值。过零率是指信号从正向到负向或从负向到正向的过零次数，其定义为信号穿过零点的次数。自相关函数是指信号与其自身的延迟版本之间的相关性，可以用来计算信号的基音周期和共振峰的位置。线性预测系数是指将语音信号分解为线性组合的预测系数，常用于语音信号的重建和压缩。
简述语音信号频域分析的定义、原理和方法，并简要介绍各种常用频域分析方法的原理。
语音信号频域分析是指对语音信号在频域的特征进行分析的过程。其基本原理是将语音信号分解为频率成分，然后对每个频率成分进行幅度和相位的分析。
常用的频域分析方法包括快速傅里叶变换（FFT）、短时傅里叶变换（STFT）、小波变换（Wavelet Transform）和离散余弦变换（DCT）等。
其中，FFT是一种高效的频域分析方法，可以将时域信号转换为频域信号，常用于频域滤波和频谱分析；STFT是在时域上将语音信号分成若干个窗口，在每个窗口上进行FFT变换，得到每个时间点的频域特征，用于语音信号的短时频域分析；小波变换是一种时频分析方法，可以将语音信号分解为不同的频率和时间尺度，具有良好的局部性和多分辨率特性；DCT是一种基于余弦函数的变换方法，常用于语音信号的压缩和特征提取。
频域分析的特点是能够反映语音信号的频率特征和谱形特征，如共振峰的位置和幅度、噪声的频率分布等。常用的频域分析参数包括频谱包络、共振峰频率、共振峰带宽、谐波能量等。
总的来说，频域分析是语音信号处理中不可或缺的分析方法之一，能够提取出丰富的语音特征，具有广泛的应用价值。
请叙述同态信号处理的基本原理(分解和特征系统)，倒谱的求法。
同态信号处理是一种基于对数变换的信号处理方法，可以有效地提高语音信号的可分离性和识别准确性。其基本原理是将信号分解为短时分量和长时分量两部分，然后对短时分量进行对数变换，再通过长时分量的平滑处理，将对数变换后的短时分量还原成原始信号的幅度。
具体地，同态信号处理的过程可以分为两个步骤：
分解：将语音信号分解为短时分量和长时分量。其中，短时分量可以通过短时傅里叶变换（STFT）等频域分析方法得到，长时分量通常采用低通滤波器或加窗平均法进行平滑处理。
特征系统：对短时分量进行对数变换，再通过长时分量的平滑处理，将对数变换后的短时分量还原成原始信号的幅度。具体地，可以使用倒谱法求解对数幅度谱，并通过倒谱重构法将对数幅度谱还原为幅度谱。倒谱法的求解过程是先对语音信号进行预加重，再进行短时傅里叶变换得到频率谱，接着通过对数变换得到对数幅度谱，最后通过倒谱变换得到倒谱系数。倒谱重构法的过程则是通过将倒谱系数进行倒谱变换和指数变换，得到幅度谱的估计值。
总的来说，同态信号处理能够有效地提高语音信号的特征可分离性和识别准确性，具有广泛的应用价值。
为什么要进行端点检测？常用端点检测算法有哪些？各有什么优缺点？
端点检测是指在语音信号中自动检测语音开始和结束的时间点的过程。进行端点检测的主要原因是为了将语音信号从背景噪声和静音中分离出来，以便进行后续的语音信号处理，如语音识别、语音合成等。
常用的端点检测算法包括：
基于能量门限的方法：通过设置能量门限，将低于门限的信号段判定为静音或噪声，高于门限的信号段判定为语音。优点是简单易实现，缺点是对于噪声和语音幅度相近的情况效果不佳。
基于短时能量和短时过零率的方法：通过设置短时能量和短时过零率的门限，将低于门限的信号段判定为静音或噪声，高于门限的信号段判定为语音。优点是对于噪声和语音幅度相近的情况效果较好，缺点是对于音乐等高能量信号的处理效果不佳。
基于端点检测器的方法：通过训练一个分类器，将音频信号分为语音和非语音两类，从而实现端点检测。优点是能够自适应不同的噪声和语音环境，缺点是需要大量的训练数据和运算量。
基于声学模型的方法：通过建立语音和非语音的声学模型，对音频信号进行判别。优点是能够处理复杂的噪声和语音环境，缺点是需要大量的训练数据和计算量。
总的来说，不同的端点检测算法适用于不同的应用场景，需要根据具体的任务需求选择合适的算法。
什么叫基音和声调？请简述常用基音周期检测方法的工作原理和框图。
基音是指语音信号中最基本的周期性振动，即声音的基本频率。而声调则是指语音信号中所有频率成分的整体特征。
常用的基音周期检测方法包括：
自相关法：通过计算语音信号自相关函数的峰值位置，得到基音周期。其工作原理是基于语音信号的周期性假设，即基音周期对应于自相关函数最大峰值的位置。
倒谱法：通过对语音信号进行倒谱变换，得到倒谱系数，并找出倒谱系数的峰值位置，以此估计基音周期。其工作原理是基于语音信号在倒谱域中的周期性假设，即倒谱系数的峰值对应于基音周期的倒数。
基于短时傅里叶变换的方法：通过将语音信号分成若干个时间窗口，在每个窗口上进行短时傅里叶变换，得到频谱图，并在频谱图中寻找基音周期对应的频率峰值。其工作原理是基于语音信号的周期性假设，即基音周期对应于频谱图中的峰值位置。
基音周期检测的框图一般包括以下几个步骤：
预处理：对语音信号进行预加重和分帧处理，以便进行后续处理。
帧内分析：对每个时间窗口内的语音信号进行基音周期的估计，得到基音周期的候选值。
帧间平滑：对基音周期的候选值进行平滑处理，以去除不稳定的周期估计结果。
后处理：对基音周期进行后处理，如基于语音信号的物理限制和统计特性，进一步提高周期检测的准确性。
总的来说，基音周期检测是语音信号处理的重要任务之一，对于语音合成、语音识别等应用具有重要意义。
语音识别概率语法分析法研究的重点不包括（）
A. 概率统计
B. 知识的获取
C. 专家经验的总结
D. 规则的形成和调用
正确答案: A:概率统计;
语音识别系统构成描述不正确的是（ ）。
A. 在实际语音识别系统中，对信赖度低的识别结果拒绝处理，将会降低系统对含有未知词或文法外发音的处理能力。
B. 语音模型是用于参数匹配的声学模型，现公认较好的鼓励统计模型是HMM模型。
C. 当今语音识别技术的主流算法，主要基于参数模型的HMM和基于非参数模型的矢量量化。
D. 为避免识别而产生误动作，可以让用户对识别结果进行确定，或提供多个候选结果，让用户选择正确的结果。
正确答案: A
什么是孤立字(词)语音识别？孤立字(词)语音识别有哪些方法？简要说明它们的工作原理。
孤立字(词)语音识别是指识别孤立发音的字或词，即直接以孤立字(词)为识别单位，词语之间要有足够的时间间隙，以便系统能够检测到始末点。孤立字(词)语音识别有以下几种方法：
模板比较法：这种方法是将待识别的语音信号与预先录制好的模板信号进行比较，计算它们之间的相似度或距离，选择最相似或最接近的模板作为识别结果。模板比较法的主要步骤包括特征提取、得分/距离计算和匹配决策。特征提取是将语音信号转化为能够进行语音识别的特征向量，常用的特征有线性预测倒谱系数（LPCC）和梅尔频率倒谱系数（MFCC）。得分/距离计算是根据某种度量标准，如欧氏距离、马氏距离或相关系数等，计算待识别语音与模板语音之间的相似度或距离。匹配决策是根据得分/距离的大小，选择最佳匹配的模板作为识别结果。模板比较法的优点是简单易实现，缺点是需要大量的模板存储空间，对噪声敏感，不能处理连续语音。
动态时间规整法（DTW）：这种方法是在模板比较法的基础上，引入了动态规划的思想，解决了语音信号长短不一致的问题。DTW算法的核心是寻找两个语音信号之间的最佳对齐路径，使得它们之间的距离最小。DTW算法的主要步骤包括构造累积距离矩阵、寻找最佳对齐路径和计算总距离。DTW算法的优点是能够处理不同长度和不同速度的语音信号，缺点是计算量大，不能处理连续语音。
隐马尔可夫模型（HMM）：这种方法是将每个孤立字(词)用一个隐马尔可夫模型来表示，该模型由一组隐状态和一组观测状态组成，隐状态之间有一定的转移概率，每个隐状态下有一定的观测概率。HMM算法的主要步骤包括模型训练、概率计算和序列预测。模型训练是根据给定的训练数据集，利用贝叶斯学习或最大似然估计等方法，求出HMM模型的参数。概率计算是根据给定的HMM模型和观测序列，利用前向算法或后向算法等方法，求出观测序列出现的概率。序列预测是根据给定的HMM模型和观测序列，利用维特比算法等方法，求出最有可能产生观测序列的隐状态序列。HMM算法的优点是能够处理连续语音，具有良好的鲁棒性和泛化能力，缺点是需要大量的训练数据，对参数估计敏感。
自动说话人识别按其最终完成的任务可以分为两类自动说话人确认和自动说话人辨认。
说话人识别系统结构组成部分不包括（ ）
A. 预处理
B. 特征提取
C. 模式匹配
D. 参数模型
正确答案: D