AI閱讀理解技術(shù):有可能成為人類幫手?
閱讀理解能力是人類智能中最關(guān)鍵的能力之一,AI閱讀理解技術(shù)有著十分廣泛的應(yīng)用前景,可能那還很遠,也可能很近,但比起超越人類,AI應(yīng)該更有可能成為人類幫手。
“三長一短選最短, 三短一長選最長,參差不齊C無敵?!?/p>
還記得上學期間流傳在“學渣們”之間的所謂閱讀理解的“做題法寶”嗎?
當然,這只是學渣們給自己的心理安慰。閱讀理解作為一道考察學生理解能力、思辨能力的題型,絕不僅僅是一道口訣就能解決的,它需要大量的練習與不斷地揣摩。
不管如何,相信大家都有一個共識:閱讀理解這件事當然是人類的專項。
然而事實上,近日,在美國斯坦福大學發(fā)起機器閱讀理解領(lǐng)域頂級賽事SQuAD中,阿里巴巴開發(fā)的人工智能模型獲得了82.44的高分,超過了人類平均值82.304的分數(shù)。這是機器首次在此類測試中獲得超過人類的分數(shù),而微軟的AI模型獲得了82.650的分數(shù),排名首位。
智能體在閱讀理解領(lǐng)域開始“跑分”,AI能夠進行全文理解,已然成為了AI界的大事件。此時,我們首先要面對的問題就是,當AI已經(jīng)能夠比人類更快速、更精準地對文本中的信息進行回答時,AI究竟是人類的替代者還是幫助者呢?AI閱讀理解在未來又會如何落地呢?這些問題看似簡單,卻有很多值得討論的地方。
AI閱讀理解技術(shù)之思
整體來說,我們認為至少可以從這兩點思考。
1、AI閱讀理解只是自然語言處理(NLP)的進化
雖說AI閱讀理解近期才進入人們的視線,但AI閱讀理解技術(shù)究其根本還是繼語義分析、語音識別后的又一在自然語言處理技術(shù)中取得的突破。
(圖來自億歐網(wǎng))
自然語言處理發(fā)展得很早,計算機剛剛發(fā)明之后,人們就開始了自然語言處理的研究。機器翻譯是其中最早進行的NLP研究。那時的NLP研究都是基于規(guī)則的,或者基于專家知識的。而閱讀理解技術(shù)是怎么發(fā)展而來的呢?在圖像識別和語音識別領(lǐng)域的成果激勵下,人們逐漸開始引入深度學習來做NLP研究,于是閱讀理解技術(shù)應(yīng)運而生。
這類技術(shù)也面臨很多挑戰(zhàn)。具體來講,包括:
- 如何跟知識學習——有效地把知識包括語言學知識、領(lǐng)域知識用起來;
- 如何跟環(huán)境學習——通過強化學習的方式提升系統(tǒng)的性能;
- 如何跟上下文學習——利用上下文進一步增強對當前句子的處理能力;
- 如何利用用戶畫像體現(xiàn)個性化。
每個環(huán)節(jié)若出現(xiàn)偏差都有可能導致結(jié)果的不準確。
2、AI閱讀理解缺乏真正的思考
讓我們先來看一道語文考試中常見的閱讀理解題目——
- 老師提出問題:為什么作者描寫的“窗簾”是藍色的?
- 學生答:“因為窗簾是藍色的?!?/li>
- 老師說:“錯!藍色的‘窗簾’具有愁緒的意味,表達作者當時困郁的心境……
這種類型的閱讀理解,大家都很熟悉吧。目前,AI在中文閱讀理解的簡答題型方面表現(xiàn)如何還沒有具體的數(shù)據(jù)可以說明(值得一提的是,百度即將籌辦中文閱讀理解比賽,競賽將于2018年3月1日正式開啟報名通道)。但是針對這類題型,人類早已總結(jié)出了一套答題技巧,更何況是收集了大量數(shù)據(jù)文本的機器呢?在為AI建立模型時,完全可以達到以某個詞匯來刺激AI作出相應(yīng)答案的程度。比如上文中的“藍色”對應(yīng)“惆悵,困郁”,再如“書信”對應(yīng)“思念”等等。但是,這種操作下,AI閱讀理解在做題時用的不是“理解”,而是“套路”;因為機器沒有“思考”,只有“運算”。
為什么這么說呢?我們大概能在AI閱讀理解的做題流程中找到答案:
- Embedding Layer(相當于是人的詞匯級的閱讀知識):一般采用的都是在外部大規(guī)模數(shù)據(jù)上預訓練的詞向量(例如Glove等),以及基于循環(huán)神經(jīng)網(wǎng)絡(luò)或者卷積神經(jīng)網(wǎng)絡(luò)的從字符到單詞的詞向量(表示),這樣就可以得到問題和文章段落里面每個單詞的上下文無關(guān)的表示。
- Encoding Layer(相當于人通覽全文):一般采用多層的循環(huán)神經(jīng)網(wǎng)絡(luò)得到問題和文章段落的每個詞的上下文相關(guān)的表示。
- Matching Layer(相當于帶著問題讀段落):得到問題里面的詞和文章段落詞之間的對應(yīng)(或者叫匹配)關(guān)系?;臼遣捎米⒁饬Γ╝ttention)的機制實現(xiàn),常見的有基于Match-LSTM和Co-attention兩種,這樣就得到文章里面每個詞的和問題相關(guān)的表示。
- Self-Matching Layer(相當于人再讀一遍進行驗證):在得到問題相關(guān)的詞表示的基礎(chǔ)上再采用self-attention的機制進一步完善文章段落中的詞的表示。
- AnswerPointerLayer(相當于人綜合線索定位答題):對文章段落里面的每個詞預測其是答案開始以及答案結(jié)束的概率,從而計算文章段落中答案概率最大的子串輸出為答案。
所謂一千個讀者有一千個哈姆雷特,我們?nèi)祟愒诶斫庖黄恼碌臅r候往往會帶上自己的主觀色彩,每個人都會生成自己的看法。而AI呢?在做題之外又能否對文章生成不一樣的看法?
AI瘋狂“跑分”,其結(jié)果是成為人類更好的幫手
之所以大家都認為AI閱讀理解超越了人類,是因為從技術(shù)原理來講,AI閱讀理解超越人類是一件非常合理的事情。
首先,AI“閱讀”的能力正在一天天提升,自然語言處理技術(shù)的突破,很可能取代人類的“理解力”。其次,深度神經(jīng)網(wǎng)絡(luò)模型能夠模擬人類在做閱讀理解問題時的一些行為,包括結(jié)合篇章內(nèi)容審題,帶著問題反復閱讀文章,避免閱讀中遺忘而進行相關(guān)標注等。于是,自然語言處理技術(shù)和深度神經(jīng)網(wǎng)絡(luò)模型相結(jié)合,使得AI可以進行超乎人類的閱讀理解,似乎就成為了順理成章的一件事。
于是很多人開始思考,AI閱讀理解是否會替代由人工完成的規(guī)則、對話、服務(wù)信息類的相關(guān)理解工作?事實上,這種想法僅僅是理論上成立,但在實際應(yīng)用時還有很多問題。
首先是把閱讀理解這件事過分簡單化了。閱讀理解的題目分為精準匹配和模糊匹配,前者是硬性的閱讀理解,即看到一段文字提取對應(yīng)的信息,并進行簡單的加工處理得到直觀的信息;后者則是通過一段文字或一篇文章,結(jié)合文字背后的背景信息以及現(xiàn)實世界中的社會、人文背景以及讀者的閱歷等諸多方面,經(jīng)過邏輯和“感性”的思考得出的理解和感受。換句話說,閱讀理解是包含了語境理解、人文理解以及對內(nèi)容熟稔之后的綜合工作。這些顯然是AI無法替代的。
再者,AI閱讀理解的“跑分”結(jié)果是有著前提約束條件的,比如在確定的題庫和測試時間,并且只是成年人平均理解水平。而要進一步推動閱讀理解技術(shù)的發(fā)展,就得跟無人駕駛汽車分級測試一樣需要設(shè)定問題的難度,逐級增加難度,對每一個級別建立訓練和評測集合。
總之,擁有超越人類的理解力,還是今天的AI所無法做到的。這也意味著,AI更合適成為人類幫手,而非替代者。二者結(jié)合最好的方式,應(yīng)該是AI進行基礎(chǔ)處理,人類用AI來提升工作效率。這種人機交互的關(guān)系,其實在大部分“可能被AI替代的工作崗位”中都能找到。
這個閱讀理解的“跑分高手”,還能在哪里幫助人類
我們認為目前這兩個方面AI閱讀理解能大展拳腳:
1. 貼近真實需求,助力人機交互
在購買家電時你是非為那些枯燥無聊的“使用手冊”感到十分頭痛?在各種軟件下載中的“用戶協(xié)議”上你只能傻傻地點擊“我同意”?有了AI閱讀理解技術(shù),這一切都有了更好的解決辦法。
例如智能客服中,可以使用機器閱讀文本文檔(如用戶手冊、商品描述等)來自動或輔助客服來回答用戶的問題。
在搜索引擎中,機器閱讀理解技術(shù)可以用來為用戶的搜索(尤其是問題型的查詢)提供更為智能的答案。目前R-NET的技術(shù)已經(jīng)成功地在微軟的必應(yīng)搜索引擎中得到了很好的應(yīng)用。我們通過對整個互聯(lián)網(wǎng)的文檔進行閱讀理解,從而直接為用戶提供精確的答案。同時,這在移動場景的個人助理如微軟小娜(Cortana)里也有直接的應(yīng)用。
在辦公領(lǐng)域,機器閱讀理解技術(shù)也有很好的應(yīng)用前景,比如使用機器閱讀理解技術(shù)處理個人的郵件或者文檔,然后用自然語言查詢獲取相關(guān)的信息。
2. 友好嵌入環(huán)境,“技術(shù)”成為“助手”
此外,機器閱讀理解技術(shù)在垂直領(lǐng)域也有非常廣闊的應(yīng)用前景,例如在教育領(lǐng)域用來輔助出題,法律領(lǐng)域用來理解法律條款,輔助律師或者法官判案,醫(yī)療領(lǐng)域理解醫(yī)療信息,幫助病人咨詢,以及在金融領(lǐng)域里從非結(jié)構(gòu)化的文本(比如新聞中)抽取金融相關(guān)的信息等。
正如阿里巴巴研究院自然語言處理首席科學家司羅在一份公告中所說的一樣,對于像“天為什么會下雨”這樣的客觀問題,機器給出的答案準確率會很高。公告稱,其中的技術(shù)可以逐步應(yīng)用于諸如客服、博物館指南、在線解答患者醫(yī)療問題等廣泛的實際應(yīng)用領(lǐng)域,從而以一種前所未有的方式減少人力投入的需求。
更甚者,機器閱讀理解技術(shù)可以做成一個通用的能力,釋放給第三方用來構(gòu)建更多的應(yīng)用。
總結(jié)
微軟團隊負責人周明老師曾在訪談中說到,
“超越人類不能作為媒體的報道噱頭,我們在看到技術(shù)進步的同時,更應(yīng)該冷靜思考模型的不斷完善和技術(shù)應(yīng)用落地。這是一個生態(tài),需要所有業(yè)界同仁一起健康競爭,把現(xiàn)階段面臨的難題攻克,而非停留在比賽第一這樣的階段性喜悅中?!?/p>
閱讀理解能力是人類智能中最關(guān)鍵的能力之一,AI閱讀理解技術(shù)有著十分廣泛的應(yīng)用前景,可能那還很遠,也可能很近,但比起超越人類,AI應(yīng)該更有可能成為人類幫手。即使它在許多人類制定的規(guī)則項目中“贏”了人類,真正“超越人類”的還是人類自己。
作者:顏璇,微信工眾號: “智能相對論(ID:aixdlun)”
本文由 @顏璇 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自 Unsplash,基于 CC0 協(xié)議
對于大量人類心理模型,行為模型的積累,模仿。AI必定會超過人類,做出更具人性的判斷。