zoukankan      html  css  js  c++  java
  • 提纲挈领webrtc之vad检测

      顾名思义,VAD(Voice Activity Detection)算法的作用是检测是否是人的语音,它的使用

    范围极广,降噪,语音识别等领域都需要有vad检测。vad检测有很多方法,这里我们之介绍一

    下webrtc里面的vad检测。

      webrtc的vad检测原理是根据人声的频谱范围,把输入的频谱分成六个子带

    (80Hz~250Hz,250Hz~500Hz,500Hz~1K,1K~2K,2K~3K,3K~4K。) 分别计算这六个子带的、

    能量。然后使用高斯模型的概率密度函数做运算,得出一个对数似然比函数。对数似然比分为

    全局和局部,全局是六个子带之加权之和,而局部是指每一个子带则是局部,所以语音判决会

    先判断子带,子带判断没有时会判断全局,只要有一方过了,就算有语音。

      webrtc的vad检测代码比较简洁,核心代码只在三个文件中。

    webrtc_vad.c 该文件是用户调用的API函数,使用vad一般只需要调用该里面的函数即可。

    使用函数:WebRtcVad_Create  WebRtcVad_Init 申请内存和初始化一些参数。

    使用函数:WebRtcVad_set_mode 设置vad要处理的采样率,一般是8000或16000

    使用函数:WebRtcVad_Process 核心函数,完成检测是否有人声的核心。

    vad_core.c 该文件是webrtc_vad.c 文件中函数的实现代码,也是vad最深层的核心代码,

    有兴趣的话可以研究一下。这里不做展开。

      使用方法:

      初始化调用:

      WebRtcVad_Create();

      WebRtcVad_Init();

      WebRtcVad_set_mode();

      处理调用:

      WebRtcVad_Process();

    注意事项:

      这里共有三种帧长可以用到,分别是80/10ms,160/20ms,240/30ms。其它采样率

    的48k,32k,24k,16k会重采样到8k来计算VAD。之所以选择上述三种帧长度,是因为语

    音信号是短时平稳信号,其在10ms~30ms之间可看成平稳信号,高斯马尔科夫等比较

    的信号处理方法基于的前提是信号是平稳的,在10ms~30ms,平稳信号处理方法是可

    以使用的。

      从vad的代码中可以看出,实际上,系统只处理默认10ms,20ms,30ms长度的数据,

    其它长度的数据没有支持,笔者修改过可以支持其它在10ms-30ms之间长度的帧长度

    发现也是可以的。

      vad检测共四种模式,用数字0~3来区分,激进程度与数值大小正相关。
    0: Normal,1:low Bitrate, 2:Aggressive;3:Very Aggressive 可以根据实际的使用

    在初始化的时候可以配置。

      自问自答:

      问题一:为什么子带是从80HZ开始的?

      答复:我国交流电标准是220V~50Hz,电源50Hz的干扰会混入麦克风采集到的数据中且物理震动也会带来影响,所以取了80Hz以上的信号。

  • 相关阅读:
    jqueryuidatepicker 可控制是否显示时分秒
    JQuery zTree v3.2和demo
    模拟网易163写的一个文本框触发效果
    不刷新页面,切换CSS文件
    Devs开源规则引擎介绍
    坑爹啊!!!win2003 x64企业版不支持tfs2010的源代码管理服务
    gui设计禁忌2.0读书笔记
    c#关于数据库自定义类型在存储过程中返回服务器端的问题
    vs2010 sp1在win2003不能安装的问题
    mysql真是不错!
  • 原文地址:https://www.cnblogs.com/dylancao/p/7663755.html
Copyright © 2011-2022 走看看