语音标注必须了解的基础知识点
今天写一篇关于语音相关的基础知识,不管是数据标注还是刚了解语音相关AI技术的小伙伴都必须要知道的知识点。
一.几个重要的概念
1.采样
由于声音为为模拟连续信号,而计算机只能处理数字离散信号,因此要用计算机来分析和处理声音,就需要经历模数转换过程[Anlog to Digital Converter,即ADC],即将模拟连续信号转换为数字离散信号。采样就是按照一定时间间隔从模拟连续信号提取一定数量的样本来,其样本值用二进制码0和1来表示,这些0和1构成了数字音频文件,其过程实际上是将模拟音频信号转换成数字离散信号。
2.采样率
采样率表示了每秒对原始信号采样的次数。显然,在一秒中内采样的点越多,获取的信息越丰富,为了复原波形,一次振动中至少得有两个采样点,要想使采集到的信号不失真,采样频率规定至少为语音频率的2倍,因此要 得到一个频率为10000赫兹的声音,则其采样率至少要大于20000赫兹的。采样率越高,数字信号的保真度越高,但同时占用的存储空间越大。如果采样率低于语音频率的两倍,则会产生低频失真、信号混淆现象。
3.采样精度
采样精度就是指存放一个采样值所使用的比特数目。当用8个比特(采样精度为8位)存放一个采样值时,对声音振幅的分辨等级理论上为256个,即0至255;当用16个比特(采样精度为16位)存放一个采样值时,对声音振幅的分辨等级理论上为65536个,即0到65536。如果您将采样精度设置为16位,计算机记录的采样值范围则为-32768到32767之间的整数。
注意采样率和采样精度越大,记录的波形更接近原始信号,但同时占用的内存空间也越大。
4.声道
声道指输入或输出信号的通道。通常用多声道来输入或输出不同的信号。如果只需录制一个位置的一种信号时,只要使用单声道就可以了。
5.信噪比
信噪比指信号与噪声之间的能量比。录音时信噪比越高越好。16位采样率的信噪比大约是96dB,8位采样率的信噪比大约是48dB。在录音时,在录音时简单估计噪音大小的办法是:当没有语音信号输入的时候,如果麦克风输入的信号振幅值超过200(单位为采样值,相当于46dB),则噪声就比较大,需要进行一定控制,如在比较安静的环境下录音,关闭窗户、空调、电扇等噪声源,远离电脑等噪声源等等,选用比较好的带有屏蔽的麦克风,选用比较好的声卡等等。噪声的振幅值越低越好,录音室里的录音一般可以控制在10以下(单位为采样值,相当于20dB)
注:采样率和采样精度的设置以越高越好,采样率和采样精度越高则声音的质量越高,不过考虑到存储空间和语音信号的特点,一般可以设置为16000赫兹的采样率和16位的采样精度。如果需要录制两个不同的信号源,则使用立体声,否则都使用单声道。
二.声学的几个基础概念
当物体振动时,会引起周围空气的波动,导致空气粒子间的距离发生疏密变化,从而引发空气压强的改变,在通过人的耳膜对空气压强的反映传入大脑,从而形成声音。物理上讲,声音具有4个基本特征:即音色、音强、音高和音长。
1.声波
声波是有物体振动产生的,物体振动使周围的介子(如空气)产生波动,这就是声波。声波的最简单形状是正弦波,由正弦波得到的声音交纯音。在日常生活中,人们听到的大部分都不是的纯音,而是复合音,这是由多个不同频率和振幅的正弦波叠加而成的。
2.声速
声波每秒在介子中传播的距离,叫做“声速”,用c表示,单位m/s。声速与传播声音的介子和温度有关。在常温常压的空气中,声速(c)和温度(t℃)的关系可简写为:c ≈ 331.4+0.607t(m/s)。常温常压下,声速为345m/s。
3.波长
沿着声波传播方向,声波震动一周所传播的距离,或在波形上相位相同的相邻的两点的距离,叫做“波长”,用λ表示,单位为m。波长与发生物体的震动频率成反比:频率越高,波长越短。日常所说的长波指频率低的声音,短波指频率高的声音。波长、声速和频率三着之间的关系λ=c/f。
4.振幅
振动物体离开平衡位置的最大距离,叫做振动的“振幅”,通常用符号