李航博士：人工智能需要新的計算範式和理論

2022年11月17日上午，字節跳動科技有限公司研究部門負責人.ACL會士，IEEE 會士，ACM 傑出科學家李航博士受beat365邀請，通過線上形式為“beat365智能科學前沿論壇”帶來了一場精彩的報告，報告題目為“人工智能需要新的計算範式和理論” ，吸引了包括beat365，人工智能研究院，王選所和計算機學院的衆多老師和同學們的參與。

李航博士首先從人工智能的最新動态出發，通過介紹工業界研發的若幹主要技術來引出探讨人工智能需要怎樣的計算範式和計算理論的問題。

在當前人工智能領域的前沿研究中，圖像、語音、語言等載體處理上的區别更多在于數據格式上，例如現在基于Transformer的模型可以用于很多種形式的數據上。預訓練、自監督學習等方法也顯得越加重要。此外，人工智能也正在漸漸擴展到AI for Science等新領域。

工業界AI Lab在多種形式的數據上都實現了與其相适應的有效的模型，包括非自回歸模型DA-Transformer、端到端語音到文本翻譯ConST、多顆粒度的視覺語言模型X-VLM、圖片和文本統一生成模型DaVinci和語言理解模型Neural Symbolic Processor等。

李航博士指出，人工智能領域可能需要一些新的計算範式，其中腦啟發計算可能是一個有價值的未來研究點。腦啟發計算參考人腦的機制構建機器的學習和推理智能系統，主要着力于解決樣本效率、能源效率、邏輯推理等方面的問題。人的大腦都是分區運作的，其中包括類推推理區和邏輯推理區。我們希望未來的人工智能模型在能根據現有數據集進行類推推理的同時，能夠有一些先天的能力進行合理的邏輯推理。

在人工智能的計算理論上，目前理論研究的主要問題包括泛化能力、優化能力、穩健性和可解釋性等。李航分别對信息瓶頸理論和編碼率降低最大化原理進行介紹，并指出當今熱門的Transformer架構是自注意力網絡的集成，如果僅采用此模塊會造成模型的退化。未來可以基于信息流、數據結構和函數表示等方向進行研究。

報告最後李航博士耐心回答了線上老師與同學們關于此次報告内容的一些問題，林宙辰教授對李航博士分享的精彩報告進行了總結與感謝，本次交流報告分享活動至此圓滿結束。