學習專區

當前位置: 首頁 > 學習專區 > 閱讀專區 > 正文

閱讀專區

朱松純：可解釋性是人工智能獲得人類信任的關鍵

時間：2021-06-08 點擊數：

6月6日，北京通用人工智能研究院院長朱松純教授受邀參加由中國人工智能學會主辦的CICAI國際人工智能會議，并帶來了《可解釋性人工智能：如何讓機器獲得人類有依據的信任》的主題報告。

本次大會旨在搭建國際學術交流平台，為全球緻力于人工智能技術研究的學者提供跨學科、跨領域、跨地區交流的機會，增強學術交流與産業交流的深度與廣度，激發新思想、培育新力量。

朱教授出席CICAI2021 并做《可解釋人工智能》專題報告

當前人工智能技術正在賦能各行各業，出現在了人們工作、生活的方方面面。但當人們與人工智能設備互動時，又會對人工智能時不時表現出的“智障”産生困惑，AI為什麼總是答非所問？針對這些行業痛點，朱松純教授在專題報告中讨論了當前人工智能前沿研究的一個十分緊要的課題：智能體（AI agent, 這裡泛指人工智能系統）如何有效地“解釋”自己，取得人類用戶的“信任”，從而産生高效的人機協作，進而融入一個人機共生共存的社會。

朱教授做專題報告

朱教授指出，當前比較流行的人工智能技術采用的是“大數據，小任務”範式，産業界更傾向于将人工智能技術等同于“大數據+深度學習+超大算力”。基于這一範式的人工智能技術距離人們對AI的期待還有較大差距，例如，AI隻能完成特定的、人類事先定義的任務做不到通用；每項任務都需要大量标注的數據，沒有數據就不知所措；模型不可解釋與知識表達不能交流，無法與人做多回合交互等。 “大數據+深度學習”範式是将訓練數據輸入到神經網絡中，然後得到一個預測值，這個神經網絡由數量龐大的神經元組成，其演算機制無法解釋，造成人無法信任AI。

因此，我們未來要發展具有可解釋性的人工智能，讓人工智能技術跳出“黑箱”，成為可解釋、可解讀、可信任的人工智能。可解釋的人工智能（Explainable AI）大緻分為兩個層次：1. 自省與可解讀性，即機器與人類達成共同語言表達；2. 自辯的能力，即機器要向人類解釋其計算的機理與過程。

當談到如何建立信任時，朱教授說，AI如果要獲得人的信任，要在兩個層次上獲得人的信任：1.能力的邊界：AI要讓人清晰地知道在什麼條件下AI能做到什麼樣的性能，可以完成哪些任務；2.感情的紐帶：AI要與人保持相近的價值觀，把人類的價值放在重要位置，要讓人知道AI和自己是命運共同體，時刻維護人的利益。通過人機之間的疊代、交流、協作增進互相理解，進而達成共識，産生“有依據的信任”(Justified Trust)。

為此，朱教授提出了人機之間建立有心智理論的可解釋性框架 (Explanation with Theory-of-Mind, X-ToM)。人機之間需要對客觀的物理世界産生相同的感知，通過交流認識到對方是如何看待同一個事物的從而形成“共識”，即你知道我是知道你知道的，X-ToM便是這種人機之間的交流模型。

朱教授通過氣泡遊戲解讀X-ToM模型和與或圖模型

AI通過人機交互的X-ToM框架，并采用可解釋的“與或圖模型”，實現模型的可解釋、可追溯、可修改，讓人工智能技術成為透明的、可控的、可信的技術。在實際應用中，人們知道AI給出答案的依據是什麼，計算的過程是什麼，進而實現人對人工智能有依據的信任。

未來，北京通用人工智能研究院将深入探索視覺、語言與認知形成的學習閉環，進而實現人機之間擁有共識、形成共同的社會規範和行為價值，賦予人工智能以三觀，讓人工智能技術真正融入人類社會，創造通用智能體，提升全人類福祉的願景。

上一條：朱松純：計算機視覺應以大任務為導向