專欄中心

EEPW首頁 > 專欄 > 哈工大劉挺：自然語言處理中的可解釋性問題

哈工大劉挺：自然語言處理中的可解釋性問題

發布人：大數據文摘時間：2022-07-24 來源：工程師

加入技術交流群
- 掃碼加入
  和技術大咖面對面交流
  海量資料庫查詢

大數據文摘授權轉載自智源社區整理：路嘯秋
“知其然，亦知其所以然”是現代計算機科學家針對神經網絡可解釋性問題追逐努力的方向和夢想。針對自然語言處理中的可解釋性問題，哈爾濱工業大學劉挺教授在2022北京智源大會報告中做了詳盡的解讀。首先介紹了自然語言處理中的可解釋性概念，分類及研究可解釋性的必要性，重點介紹了可解釋自然語言處理中的三種方法，包括白盒透明模型的設計、黑盒事后解釋方法以及灰盒融合可解釋要素方法。最后，劉挺教授提出了可解釋性的白盒模型設計以及可解釋性評估等未來發展的挑戰和研究方向。（注：本文由第三方整理，未經本人審閱）
劉挺，哈爾濱工業大學教授，哈工大計算學部主任兼計算機學院院長、自然語言處理研究所所長
國家“萬人計劃”科技創新領軍人才，“十四五”國家重點研發計劃“先進計算與新興軟件”、“社會治理與智慧社會科技支撐”兩個重點專項的指南專家、教育部人工智能科技創新專家組專家。中國計算機學會會士、理事，中國中文信息學會副理事長、社會媒體處理專委會（SMP）主任，黑龍江省中文信息處理重點實驗室主任，黑龍江省“人工智能”頭雁團隊帶頭人。曾任國際頂級會議ACL、EMNLP領域主席。主要研究方向為人工智能、自然語言處理、社會計算和智慧醫療等，是國家重點研發項目“人機融合會診”的首席科學家。主持研制“語言技術平臺LTP”、“大詞林”等科研成果被業界廣泛使用。曾獲國家科技進步二等獎、省科技進步一等獎、錢偉長中文信息處理科學技術一等獎等。

NLP中的可解釋性

可解釋的人工智能（Explainable AI，XAI），是一種以人類可理解的方式解釋人工智能系統輸出結果的能力。可解釋性的成功不僅取決于算法，同時還要借鑒哲學、認知心理學、人機交互等多學科的思想，令使用者及開發者更好地理解人工智能背后的決策和推理機制。

如今，大多數端到端的深度學習模型都是黑盒。開發者很難得知AI系統做出某個決策的依據，難以辨析影響方法成敗的關鍵因素。因而，開發者難以進行針對性的調整，修改神經網絡的架構，從而使決策過程更加準確。而可解釋的AI可以在做出決策的同事給出相應的依據，明確AI方法的適用場景，使決策結果是可控可反饋的，增強用戶對人工智能系統的信賴度。
深度學習已經取得了巨大成功，但深度學習的進一步應用遇到了倫理、用戶信任以及糾錯等方面的挑戰，盡管黑盒系統因其優越的性能得到廣泛應用，但也因為其決策難以被理解所以在應用中受到限制。
可解釋性是衡量人工智能系統性能的重要指標。在司法、醫療、金融等重要領域中，不可知、不可控的人工智能技術會引發爭議?？山忉屝缘难芯磕軌蛱嵘斯ぶ悄芗夹g的可信度，實現更加可控的推理決策。

可解釋AI在國際上受到了越來越大的關注，越來越多的國際相關組織機構將可解釋性AI作為重要的技術發展戰略。例如，美國DARPA在2017年開展了可解釋人工智能計劃，2019年谷歌發布了《可解釋人工智能白皮書》等。在我國，《新一代人工智能發展規劃》提到了可解釋人工智能的研究。今年5月16號，國家自然科學基金委也提出了「可解釋、通用的下一代人工智能方案」重大研究計劃。
可解釋人工智能系統主要由被「解釋的對象」、「解釋者」以及「解釋受眾」三部分組成。被解釋的對象即人工智能體的決策機制；解釋者為負責提供解釋的一方，一般會由機器自我解釋，也有一部分是事后解釋，包括第三方的解釋系統或者人類專家；解釋的受眾是聽取解釋并試圖理解的一方，包括AI系統開發者、AI使用者和受影響者、AI系統監管者等。
模型的解釋可以分為兩大類：
（1）透明模型，即自解釋或直接解釋。在做出決策或預測的過程中直接產生一些信息，呈現給用戶一種解釋。此時，解釋和模型的預測同時產生。例如，決策樹和基于規則的模型都是透明的模型。
（2）事后解釋，對于預測結果需要執行額外的操作才能夠解釋當前系統做出決策的原因。比如利用可解釋模型對復雜模型的部分輸出進行建模，形成替代模型，使用可解釋的替代模型解釋輸出。

可解釋自然語言處理可以簡稱為XNLP，指能以可解釋、可理解、人機交互的方式，與自然語言處理系統的開發者、使用者、決策者等，達成清晰有效的交流溝通。在取得人類信任的同時，滿足各類應用場景對智能體決策機制的監管要求。
傳統的自然語言處理方法具有可解釋性，可稱之為白盒技術。應用白盒技術便于用戶與系統之間的交互、有利于開發者對系統的修改糾錯。而深度學習模型以語言嵌入作為特征，盡管顯著提高了模型的性能，但模型難以解釋，可稱之為黑盒技術。應用黑盒技術更容易獲取更優秀的結果，但是在涉及財產和生命安全等因素的領域難以更廣泛地應用。例如，性能極其優異的深度學習模型GPT-3會在如下所示的預測任務中出現錯誤，而研究者難以分析其做出錯誤決策的原因。

計算機視覺領域可以通過注意力機制，利用“高亮”顯示與標簽相關的圖像區域；而自然語言處理領域除了注意力機制“高亮”顯示與標簽相關的文本片段之外，還可以通過輸出“解釋文本”輔助理解決策原因，比如或者利用結構化的知識圖譜、符號推理給出推理路徑，用推理路徑來進行解釋。

白盒透明模型設計
白盒透明模型的設計主要方法首先是特征重要性，提取特征過程當中已經埋下了后續對系統進行解釋的一個非常好的伏筆。其次是溯源，比如問奧巴馬的女兒有多大，基于知識圖譜進行推理得到的奧巴馬的女兒是18歲，那么把知識圖譜推理路徑展示出來就成為一個很好的解釋。
劉挺老師所在實驗室針對白盒系統的設計做了一個基于神經自然邏輯的多項選擇問答系統，嘗試用神經網絡的方法執行符號推理，本質推理還是在符號層面進行推理，具有天然的可解釋性。但由于符號推理本身存在一些問題，需要用神經網絡的語義的表示方法去注入，使符號推理的任務更可行更強大。
系統主要針對多項選擇問題，例如把grandPaOf進行拆分，可以等價推出關系是祖孫的關系，但是庫里面只有grandfather這樣的關系詞，可以通過語義的相似度計算，把grandpa和grandfather進行合并。系統采用自然邏輯進行推理，自然邏輯是一種基于語義單調性的邏輯，有7種基本的語義關系，可以直接在文本上通過插入、刪除和替換單詞進行擴展、推理。比如所有動物需要水，經過操作，動物是反向蘊含狗，所有動物都需要水，所有狗也都需要水，就可以進行這樣的推理。
同時系統希望采用證據推理來支持問答的任務，比如說問嚙齒動物吃植物嗎？有一個支持的答案或者叫證據就是松鼠是吃松子的，松鼠是嚙齒動物，松子是一種植物，就可以用自然邏輯通過增刪改等等方式進行替換，把推理路徑找出來，這個解釋自然也就成立。但在找推理路徑尤其各種概念合一的過程當中，又是需要神經網絡的幫助，用神經網絡去進行嵌入式語義表示，更好刻畫上下文，更準確的判斷單詞與單詞之間的語義關系。

黑盒事后解釋方法
黑盒事后解釋是當前最主要的NLP解釋方法。
「替代模型」是一種主流的黑盒事后解釋方法，它通過學習另一個具有可解釋能力的簡單模型作為代理來進行解釋，讓替代模型的輸入輸出盡可能模擬原來黑盒的模型。但是這種方法的可行性也受到了一些學者的質疑。

第二種方法叫做「樣例驅動」，通過識別和呈現其它與輸入實例語義相似的已標注好原因或者解釋的文本的實例解釋對輸入實例的預測，樣例驅動常用于問答系統，類似于基于最近鄰的方法。

第三種方法為注意力機制，例如機器翻譯系統，通過注意力機制發現高亮的不同，亮度的區別確實于與注意力的強弱相對應，解釋單詞的翻譯依據。但目前可解釋性與注意力的對應關系尚無定論。

第四種方法為探針方法，指使用模型的編碼表征來訓練一個分類器，該分類器用于探索編碼表征中是否掌握某些語言學知識，如詞性信息、句法信息、語義信息等。若分類器在探針任務上表現良好，則可認為機器掌握了相關的語言學知識，可以有理有據地進行問答。
群體情緒原因發現

「群體情緒原因發現」是黑盒事后解釋的典型案例。輿論分析中的群體情緒感知需要具備可解釋性，對政府進行危機儲值具有重要的意義。采用基于圖模型的群體原因發現技術，從各個時間段構建子圖，按照時間順序進行信息傳遞，從子圖中提取關鍵詞語節點，抽取出重要的句子或者標簽作為情緒原因。

根據疫情期間每天獲取的上千萬條與疫情相關的微博，研究者們對微博上各地的情緒分布進行統計，繪制出了如下圖所示的微博情緒地圖。

基于注意力機制的解釋

基于注意力機制為閱讀理解任務提供可解釋性也屬于「事后解釋方法」。這里面主要探討注意力機制是否能夠解釋預訓練模型的運行機制。研究者采用了一個包含四部分的注意力矩陣，Q2 代表問題到問題；P2 代表篇章理解；Q2P是從問題到篇章；尋找答案的線索；P2Q是對答案進行驗證。研究者分別對這幾個部分進行注意力機制的分析。

一般來說，高注意力對系統的影響比較大，比如說特殊的符號，對角線的元素。但在閱讀理解問題上，研究者們發現去掉單個符號影響不大，去掉多個特殊的符號在英文上性能下降比較明顯，然而中文上下降不是太明顯，去掉對角的元素反而可以提升閱讀理解的準確率。P2Q和P2P仍然是影響結果重要性的最主要的注意力區域。
探針方法

研究者們使用探針方法，實現對話理解中的可解釋性認證。對話當中蘊含豐富的語言現象，傳統對話系統無法理解對話中的省略和指代等現象，模型產生回復的過程不可解釋。而劉挺教授團隊在人人對話數據中插入QA對，通過對話模型能否正確地回答問題來檢驗模型是否真正理解對話的語義。并由此提出了一個DEQA數據集，通過可解釋的QA方式驗證了主流模型無法正確理解對話中語義的問題。

解釋要素的注入
劉挺教授團隊將符號知識注入神經網絡，實現事件、時間、常識的知識預測。通過邏輯的推理可以擴大神經網絡的訓練集，同時利用邏輯規則在上層約束神經網絡。從文本中無監督抽取的時間常識可能存在報告偏差，常見的情況在文本中并未顯式提及，自然文本中幾乎不會有類似的表達，預訓練等大模型會在文本表達中對非尋?，F象加以強調。劉挺教授介紹的方法通過利用不同維度間的時間常識知識之間的約束關系降低報告誤差。

無監督文本生產解釋

劉挺教授團隊針對閱讀理解構建自解釋系統，提出了一個基于迭代式動態門限機制的無監督字解釋方法。通過借鑒知識蒸餾的傳統做法，建立一個雙子系統。閱讀器負責正常訓練閱讀理解任務，解釋器通過門機制控制輸入篇章的內容量保留篇章中最重要的部分，進而使用閱讀器做模型預測生成答案，使用解釋器產生解釋文本。最終得到的實驗結果相比傳統方法獲得了更高的答題準確率，因此不需要以答題準確率為代價換取可解釋性，在人工評價指標上也取得了較好的效果。

可解釋性的評價

針對可解釋性評價的挑戰，劉挺教授團隊也提出了兩個針對可解釋性評價的數據集，分別是可解釋性閱讀理解數據集ExpMRC和可解釋的因果推理數據集。

灰盒融合可解釋要素方法

灰盒方法的主要思想是在構建系統的時候嵌入可解釋的要素。劉挺教授首先介紹了基于神經-符號相結合的可解釋性自然語言理解。符號表示有可程序化化可解釋性強等優點，而神經AI表示能力和適應能力強，劉挺教授團隊嘗試將兩者的優點結合在一起，構造了一個名為ExCAR的因果邏輯增強的可解釋因果推理框架，例如從量化寬松到房價上漲找到推理路徑，利用神經邏輯網絡和條件馬爾可夫還原背后的因果決策機制。

基于規則挖掘的知識發現，一般用表示學習、強化學習去進行知識的發現，利用實體的描述文本和結構信息實現知識不全；利用文本模型的輸出稠密化知識圖譜；利用EM和ML兩種方法融合文本模型和結構模型，進而實現基于分層推理的知識發現。

總結和展望

劉挺教授本次報告向大家分享了白盒、黑盒以及灰盒等可解釋性方法，也介紹一些評價的方法和數據集。劉挺教授認為，可解釋人工智能未來的發展趨勢是神經網絡和符號系統相互結合、推理規則與預訓練模型的相互結合以及可解釋規則證據的歸納和可視化。另外，如何設計面向自然語言處理的白盒模型是一項很大的挑戰?，F在多數工作仍然集中于黑盒的事后解釋以及如何利用可解釋要素提出灰盒方法，難點在于多數NLP模型基于神經網絡模型，而神經網絡模型本身的可解釋性仍然是未解難題。除此以外，可解釋性的評價需要更加綜合、全面地進行評估，結合腦科學的學科發展對可解釋性進行進一步的探索也是未來重要的研究方向。

*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。

關鍵詞： AI