搜狗超越微软成CoQA新纪录保持者,阅读理解能力可媲美人类
2019年1月3日,搜狗搜索人工智能研究团队在对话型机器阅读理解挑战赛CoQA(Conversational Question Answering Challenge)中全面刷新所有评价指标成绩,以总成绩82.8%夺得第一。
CoQA是面向建立对话式问答系统的大型数据集,挑战赛的目标是衡量机器对文本的理解能力,以及机器面向对话中出现的彼此相关的问题的回答能力的高低。与业界所熟知的机器阅读理解评测SQuAD相比,该挑战赛集中的问题不再是单轮的一问一答的形式,而是扩展到多轮的对话交互;SQuAD 中约一半都是what型,该挑战赛问题种类更多;SQuAD中没有共识推断,该挑战赛几乎每组对话都需要进行上下文理解推断;SQuAD中所有答案均可从原文本中提取,该挑战赛中这一比例仅为66.8%。2018年8月,CoQA挑战赛正式启动,吸引了众多国内外知名研究机构和高校,其中包括微软、艾伦研究院(AI2)、斯坦福大学、清华大学COAI实验室、北京大学、复旦大学、北京邮电大学、中国科技大学等。
图1:CoQA挑战赛最新成绩榜单(截至2019年1月3日)
1月3日,搜狗研究团队凭借BERT + Answer Verification(单一模型),全面刷新CoQA所有评价指标,以总成绩82.8%进一步缩小机器与人类在该数据上的平均水平差距。据悉,搜狗的算法模型能综合考虑答案抽取和证据对答案的支撑作用,同时融入对话历史的问题和答案信息,极大提升了对当前问题的理解和回答的准确性。
图2:CoQA阅读素材
图3:CoQA问题与答案
让机器掌握阅读理解能力究竟意义何在?搜狗一直坚持探索以语言为核心的人工智能战略,相信搜索的未来是问答,而机器阅读理解是现今问答技术发展的核心之一。在AI技术的实用化方面,搜索走向问答将会在一些专业领域产生颠覆性的效果,如医疗、法律领域。
目前,搜狗已经将相关技术应用于产品及业务中。在医疗领域,搜狗明医智能自诊分诊功能,首创引入了基于人工智能技术的智能诊断助手,模拟医生与病人对话的模式与用户进行病情沟通。在法律领域,搜狗大律师的问答机器人具备逻辑分析和推理能力,在递进式问询过程中,挖掘判决书中的结构化数据,帮助用户理清已发生的事实,并在充分、准确理解用户法律诉求的基础上,给出可能的判决结果、法律建议或相似案例。
此次AI技术的突破,为搜狗更多AI技术的实用化奠定技术基础,也意味着搜狗在人工智能赛道上将继续保持其固有领先优势。
相关文章
-
热点丨华为正与高通谈判专利和解或将每年支付5亿美元专利费用
-
即刻:构建一座基于认同和共鸣的社交城市
-
前有翻眼皮后有窃指纹男子趁女友熟睡指纹解锁转走微信4万元
-
中国移动咪咕打造全球首场5G+真4K排球赛事直播,颠覆体育视听体验
-
极氪首站:成都开城,安聪慧灵感爆发打造“成都色”|成都车展
-
三大电商二季报出炉:营收稳步增长,下沉市场成增长引擎
-
耐高温轴承规格型号对照表
-
每周海外科技创业事件回顾(2020.03.02-2020.03.08)
-
印度撤销下架指令,TikTok运营全面恢复
-
大佬言论 | 王慧文:如果一味追求用户体验,一定会倒闭
-
“银豆wang”清退之路!
-
投票活动发起后要怎么管理后台?
-
热点 | 强生被曝多年来隐瞒婴儿爽身粉含石棉 市值一天蒸发398亿美元
-
ofo名下已无可执行财产,华为新专利曝光有“站立”模式,微软网店恢复销售华为
-
金立副总裁俞雷将离职:曾负责品牌营销业务
-
最前线|支付宝集五福又双叒叕来了,这回瓜分的是5亿奖金
-
不负创新不负坚守,一站八年的《一站到底》以知识崇拜致敬时代
-
居家期间,这些免费神仙软件了解一下
-
平凉市文化旅游五大平台联合吹响战“疫”暨复工复产集结号|文化大舞台(二十六)
-
苹果无人车裁员200人,收购特斯拉呼声再起
-
涉嫌传播危害社会公德内容,抖音遭警告、罚3万
-
全球品牌500强:亚马逊排名第1华为排名12
-
波士顿动力商业化探索:量产SpotMini 造机器人应用平台
-
物美接盘近半数邻家门店,更名为“多点便利店”
-
雷军夸武汉大学是全球最好的大学,并熬了碗“鸡汤”
-
最前线|人工智能该不该有道德观?阿里罗汉堂发布了关于数字经济的十个问题
-
龙源网收录论文评职称可用吗?
-
阿里巴巴、腾讯与亚马逊相比,究竟差在哪儿?
-
电动汽车终将完成逆袭 主宰未来市场