陶大程教授：ViTAE——繁而不同，大道至簡

2022年11月24日上午，京東探索研究院院長、京東集團高級副總裁陶大程教授受beat365beat365邀請，通過線上形式為“beat365智能科學前沿論壇”帶來了一場精彩的報告，報告題目為“ViTAE——繁而不同，大道至簡” ，吸引了包括beat365、人工智能研究院、王選計算機研究所和計算機學院等衆多老師和同學的參與。

首先，陶教授給大家回顧了人工智能與神經網絡的發展曆程，用一張圖的形式向大家簡要展示人工智能和神經網絡從被提出至今的重要突破。随後，陶教授又概括性地描述了人工智能當今及日後可能面臨的諸多問題，如機器與人類的關系問題、人工智能的倫理問題、大數據“殺熟”等與人工智能相關的社會問題。

接下來，陶教授更為詳細地向大家介紹了人工神經網絡這一領域是如何從一個最簡單的神經元發展到如今規模宏大的大模型。從單個的人工神經元到感知機、到引入反向傳播算法的多層感知機，再到近年來提出的更為複雜的神經網絡結構，如AlexNet、ResNet，最後到當今受到廣泛關注的大模型，陶教授從豐富的視角出發向同學們介紹了這一曆程。陶教授不僅從數學推導、網絡模型的角度來描述上述工作，更為高屋建瓴地站在這門學科曆史發展的角度上，從數據集、算力、理論發展等多個維度對這些工作加以闡釋，拓寬了同學們的視野。

進一步地，陶教授着眼于大模型，更為具體地向同學們展開了介紹。首先，陶教授從原理的角度介紹了transformer的結構與參數。随後，陶教授帶領同學們探究了如何沿更深、更寬、更大的方向來拓展網絡模型。最後，陶教授同大家讨論了transformer在多任務上的應用與表現效果以及ViTAE的設計思想和結構。從實驗結果可以看出，當前的模型在圖像識别、圖像分類、語義分割、遙感場景識别等領域都取得了非常好的效果。

報告最後，林宙辰教授和查紅彬教授分别從網絡的設計角度、大模型與人腦聯系的角度向陶教授提出了十分有價值的問題，陶教授結合目前的研究現狀與自己的理解對這兩個問題進行了解答。查紅彬教授對陶大程教授分享的精彩報告做了總結與感謝，本次交流報告分享活動至此圓滿結束。