zoukankan      html  css  js  c++  java
  • Google Duo采用WaveNetEQ填补语音间隙

    Refer to: https://blog.csdn.net/vn9PLgZvnPs1522s82g/article/details/105304072

    Abstract

    Google Duo (移动设备视频通话服务)发现,其99%的呼叫需要处理数据包丢失、抖动过多或网络延迟等问题。

    在这些通话中,有20%因为网络问题损失了3%以上的音频持续时间,而10%的通话则损失了至少8%的音频。

    为了确保可靠的实时通信,有必要处理丢失的数据包,这个过程被称为PLC。接收方的PLC负责创建音频(或视频),以填补由丢包、过度抖动或临时网络故障造成的空白(所有这三种情况都会导致数据丢失)。

    为了解决这些音频问题,Google Duo开始使用全新的PLC系统WaveNetEQ。

    WaveNetEQ是基于DeepMind的WaveRNN技术生成的模型,使用大量语音数据集进行训练,以更为逼真地延续短语音段,从而使其能够完全合成丢失语音的原始波形。

    该模型将应用于Duo抖动缓冲区中的音频数据。

    丢包事件发生后,如果真实音频仍然存在,Duo将无缝合并合成的、真实的音频流。为了找到两个信号之间的最佳对准,该模型的输出要比实际所需要的输出多一些,并从一个到另一个交叉淡入淡出。这样可使过渡平滑,并避免明显的噪音。

  • 相关阅读:
    2019 ICPC Nanchang Summon
    2018 Multi-University Training Contest 10 B. Beads
    2020 ICPC Shanghai C
    2020 ICPC Shanghai B
    2020 ICPC Shanghai I
    2018 ICPC Shenyang G
    ACM-ICPC 2017 Asia Qingdao Suffix
    2018 Multi-University Training Contest 10 Calculate
    ACM-ICPC 2017 Asia Qingdao Our Journey of Xian Ends
    Java8-无限流补全日期,折线图补零
  • 原文地址:https://www.cnblogs.com/bouygues/p/12855839.html
Copyright © 2011-2022 走看看