Zero-shot User Intent Detection via Capsule Neural Networks

• Architecture

   

   

   

   

• SemanticCaps

  通过Bi-LSTM表征得到的隐层向量经过multi-head后可以得到R个表征

  

     

  

     

  

   

• DetectionCaps

  这部分和一般的胶囊网络一样，除了loss function中加入了self attention部分

     

  

     

  

     

  

     

  

     

  

   

   

• Zero-shot DetectionCaps

   

基本过程和DetectionCaps很相似,计算DetectionCaps中已存在的existing intent和当前inference阶段emerging intent的相似度q,然后加权求和，squash后得到activation vector进行分类