zoukankan      html  css  js  c++  java
  • 华为云登顶HotpotQA多跳知识推理问答评测

    日前,华为云在知识计算领域的多跳知识推理问答取得重大进展。基于自然语言处理领域的领先技术积累,华为云语音语义创新Lab联合华为诺亚方舟实验室在国际权威的HotpotQA评测Fullwiki Setting赛道荣登榜首,在答案模糊准确率和联合模糊准确率(Joint F1)等指标上均达到第一。

    HotpotQA评测(Fullwiki Setting赛道)最新榜单(截至2021年1月20日)

    作为企业重要的信息载体,数字化文档记录了大量企业知识,如何快速帮助企业员工从数字化文档中获得答案,是企业文档维护人员的痛点。为解决此问题,一方面需要较强的阅读理解技术,另一方面还需要构建一套复杂的开放域问答流程。

    HotpotQA评测数据是斯坦福、CMU和蒙特利尔大学联合推出的新型问答数据集,由斯坦福的Manning教授和深度学习三巨头之一的Bengio牵头构建,该数据集由多跳复杂问题以及对应的答案组成,同时包含佐证证据用来解释答案的来源。在斯坦福此前公布的SQUAD评测任务中,机器已经多次超过人类,该评测仅需要从单个篇章中找到与问题有关的答案即可,故相对简单。然而,HotpotQA评测需要从整个wikipedia或者多篇文章中找出问题相关的答案,同时要求返回问题到答案的推理链,难度大大增加更具有挑战性。该评测也吸引了来自谷歌、微软、Facebook等知名研究机构以及CMU、Stanford、华盛顿大学、清华大学、北京大学等知名高校。

    挑战多跳知识推理技术高点

    HotpotQA评测的难点在于机器要结合多篇文章进行多跳推理才能得出答案,并返回佐证证据。该评测分为Distractor Setting和 Fullwiki Setting两个赛道。Fullwiki Setting相较于Distractor Setting更为复杂也更接近实用价值,需要从整个维基百科文档中抽取文档,然后再从文档中提取段落,最后从段落中抽取答案,而Distractor Setting赛道会提供10篇备选的篇章。如何从大量文档段落中去多跳搜索候选,然后理解候选段落的内容提取佐证证据成为比赛的关键。

    华为云联合华为诺亚方舟实验室,提出了新的检索目标hop,用于收集维基百科中隐藏的推理证据,解决复杂多跳问题,同时结合beam search对答案进行排序和融合。

    从维基百科文本图谱中检索跳转(Hops)

     

    如今,企业面临着数字化、知识化转型,知识化转型重要的关键技术就是知识的理解和推理,该技术对企业知识转型具有重大的意义和推动作用。2020年华为云推出知识计算解决方案,企业可以基于华为云知识计算解决方案打造自己的知识计算平台,用于研发、生产、运营、销售、售后服务等企业核心流程。目前,该方案已在石油、汽车、医疗、化纤、煤焦化、钢铁、交通等行业率先实践。

     

    点击关注,第一时间了解华为云新鲜技术~

  • 相关阅读:
    Construct Binary Tree from Preorder and Inorder Traversal
    Construct Binary Tree from Inorder and Postorder Traversal
    Maximum Depth of Binary Tree
    Sharepoint 2013 创建TimeJob 自动发送邮件
    IE8 不能够在Sharepoint平台上在线打开Office文档解决方案
    TFS安装与管理
    局域网通过IP查看对方计算机名,通过计算机名查看对方IP以及查看在线所有电脑IP
    JS 隐藏Sharepoint中List Item View页面的某一个字段
    SharePoint Calculated Column Formulas & Functions
    JS 两个一组数组转二维数组
  • 原文地址:https://www.cnblogs.com/huaweiyun/p/14308008.html
Copyright © 2011-2022 走看看