QQ在線
企業(yè)微信
資訊
332繼國際象棋、圍棋、游戲等領(lǐng)域之后，人工智能首次在深度閱讀理解超越人類。
2019年3月8日，中國人工智能“國家隊(duì)”云從科技和上海交通大學(xué)聯(lián)合宣布，在自然語言處理（NLP Neuro-Linguistic Programming）上取得重大突破，在大型深層閱讀理解任務(wù)數(shù)據(jù)集RACE數(shù)據(jù)集（ReAding Comprehension dataset collected from English Examinations）登頂?shù)谝唬⒊蔀槭澜缡讉€超過人類排名的模型。
有評論認(rèn)為，這會是機(jī)器深層理解人類語言的開端。
論文中，云從科技與上海交通大學(xué)基于原創(chuàng)DCMN算法，提出了一種全新的模型，使機(jī)器閱讀理解正確率提高了4.2個百分點(diǎn)，并在高中測試題部分首次超越人類（機(jī)器正確率69.8%、普通人類69.4%）。
這一研究成果，在應(yīng)用領(lǐng)域搭配文字識別OCR/語音識別技術(shù)后，NLP將會幫助機(jī)器更好地理解人類文字/語言，并廣泛應(yīng)用于服務(wù)領(lǐng)域：幫助企業(yè)判斷客戶風(fēng)險、審計內(nèi)部文檔合規(guī)、從語義層面查找相關(guān)信息；在社交軟件、推薦引擎軟件內(nèi)輔助文字審閱工作，從枯燥的人工文字工作中解放人類。
突破語義理解瓶頸
此次云從科技和上海交通大學(xué)在自然語言處理（NLP）領(lǐng)域的深度閱讀理解上登頂RACE排行榜第一名。RACE是一個來源于中學(xué)考試題目的大規(guī)模閱讀理解數(shù)據(jù)集，包含了大約28000個文章以及近100000個問題。它的形式類似于英語考試中的閱讀理解（選擇題），給定一篇文章，通過閱讀并理解文章（Passage），針對提出的問題（Question）從四個選項(xiàng)中選擇正確的答案（Answers）。該題型的正確答案并不一定直接體現(xiàn)在文章中，只能從語義層面深入理解文章，通過分析文章中線索并基于上下文推理，選出正確答案。相對以往的抽取類閱讀理解，算法要求更高，被認(rèn)為是“深度閱讀理解”。
RACE數(shù)據(jù)集的難點(diǎn)在于：由于正確答案并沒有直接使用文章中的話術(shù)來回答，不能直接從文中檢索得到答案。必須從語義層面深入理解文章，才能準(zhǔn)確回答問題。
解決方案
怎么讓機(jī)器在龐大的題庫文章中（28000個）找到正確的答案？
云從科技與上海交通大學(xué)首創(chuàng)了一種P、Q、與A之間的匹配機(jī)制，稱為Dual Co-Matching Network（簡稱DCMN），并基于這種機(jī)制探索性的研究了P、Q、與A的各種組合下的匹配策略。
結(jié)果顯示，采用PQ_A的匹配策略，即先將P與Q連接，然后與A匹配，策略都得到了更優(yōu)的結(jié)果。
再將模型（基于PQ_A策略）與其他已知的模型、以及純粹基于BERT自身的模型進(jìn)行了比較，得到如下的結(jié)果：
從RACE leaderboard上結(jié)果比較可以得到以下結(jié)論：
·云從科技與上海交大的單體模型就已經(jīng)超越榜單上所有的單體或Ensemble模型；
·云從科技與上海交大的Ensemble模型在高中題目（RACE-H）部分優(yōu)于人類結(jié)果（Turkers）。
論文緣起
這篇論文的作者，來自中國人工智能“國家隊(duì)”云從科技與上海交通大學(xué)。
云從科技孵化于中國科學(xué)院，2017年3月，承擔(dān)國家“人工智能”基礎(chǔ)項(xiàng)目——“人工智能基礎(chǔ)資源公共服務(wù)平臺”建設(shè)任務(wù)。
2018年10月的國家“人工智能基礎(chǔ)資源與公共服務(wù)平臺”發(fā)布會上，云從科技創(chuàng)始人周曦提出了人工智能發(fā)展五個階段，核心技術(shù)閉環(huán)是五個階段的重要基礎(chǔ)。
從感知到認(rèn)知決策的一系列技術(shù)組成了核心技術(shù)閉環(huán)：
1-感知技術(shù)：人臉識別、語音識別、文字識別OCR、體態(tài)識別、跨鏡追蹤（ReID）、車輛識別等
2-認(rèn)知決策：自然語言處理（NLP）、腦科學(xué)、大數(shù)據(jù)分析（風(fēng)控、精準(zhǔn)營銷）等
目前，云從科技承擔(dān)了國家發(fā)改委與工信部的人工智能基礎(chǔ)平臺、人工智能應(yīng)用平臺和人工智能的核心芯片平臺項(xiàng)目，包含智能感知技術(shù)和認(rèn)知決策技術(shù)為核心的技術(shù)閉環(huán)，并刷新多項(xiàng)世界紀(jì)錄，保持自主核心技術(shù)國際領(lǐng)先。
在這個基礎(chǔ)上，云從科技正在致力整合算力、智力、數(shù)據(jù)等資源及其成果，打造人工智能開放平臺與生態(tài)，進(jìn)一步促進(jìn)人工智能在金融、安防、交通、零售、商業(yè)等重要行業(yè)的落地與深度融合。
附：論文解讀
1.DCMN匹配機(jī)制
以P與Q之間的匹配為例，說明DCMN的匹配機(jī)制。下圖為P與Q之間的DCMN匹配框架。
云從科技和上海交大使用目前NLP最新的研究成果BERT分別為P和Q中的每一個Token進(jìn)行編碼?；贐ERT的編碼，可以得到的編碼是一個包含了P和Q中各自上下文信息的編碼，而不是一個固定的靜態(tài)編碼，如上圖中Hp與Hq；
其次，通過Attention的方式，實(shí)現(xiàn)P和Q的匹配。具體來講，是構(gòu)建P中的每一個Token在Q中的Attendances，即Question-Aware的Passage，如上圖中Mp。這樣得到的每一個P的Token編碼，包含了與Question的匹配信息；
為了充分利用BERT帶來的上下文信息，以及P與Q匹配后的信息，將P中每個Token的BERT編碼Hp，與P中每個Token與Q匹配后的編碼Mp進(jìn)行融合， 對Hp和Mp進(jìn)行了元素減法及乘法操作，通過一個激活函數(shù)，得到了P與Q的最終融合表示，圖中表示為Spq；
最后通過maxpooling操作得到Cpq，l維向量，用于最后的loss計算。
2.各種匹配策略研究
除了P與A之間的匹配之外，還可以有Q與A、P與Q之間的匹配，以及不同匹配得到的匹配向量間的組合，這些不同的匹配與組合構(gòu)成了不同的匹配策略。對七種不同的匹配策略分別進(jìn)行了試驗(yàn)，以找到更加合適的匹配策略，分別是：
[P_Q； P_A； Q_A]， [P_Q； P_A]， [P_Q； Q_A]， [P_A； Q_A]， [PQ_A]， [P_QA]， [PA_Q]
“PA”表示先將P和A連接為一個序列，再參與匹配，“PQ”與“QA”同理。符號“[ ； ]”表示將多種匹配的結(jié)果組合在一起。[P_Q； P_A； Q_A]模式下的模型架構(gòu)如下圖：
7種不同策略通過試驗(yàn)，采用PQ_A的匹配策略，即先將P與Q連接，然后與A匹配，無論是在初中題目（RACE-M）、高中題目（RACE-H）還是整體（RACE），該策略都得到了更優(yōu)的結(jié)果。
