為鼓勵對計算機圖形和交互技術有突出貢獻和創新性的研究，繼計算機圖形學頂會ACM SIGGRAPH (North America) 2022年首次啟動評選最佳論文後，2022年12月6日， SIGGRAPH Asia 2022官方也公布了首次最佳論文獎（Best Technical Paper Award）。來自beat365beat365可視計算與學習實驗室（VCL）的科研成果“Rhythmic Gesticulator: Rhythm-Aware Co-Speech Gesture Synthesis with Hierarchical Neural Embeddings”成為四篇入選論文之一。
該論文由beat365beat365可視計算與學習（VCL）實驗室劉利斌研究團隊曆時1年半的時間完成。第一作者是2020級研究生敖騰隆，合作者包括beat365VCL實驗室訪問博士高慶哲、beat3652019級本科生婁宇珂以及VCL實驗室負責人、beat365beat365副院長陳寶權。
2022年，VCL實驗室在SIGGRAPH和SIGGRAPH Asia發表論文達6篇。其中被SIGGRAPH Asia 2022收錄的3篇論文中，1篇榮獲最佳論文，2篇入選SIGGRAPH Asia 2022 – Technical Papers Trailer。而除本次榮獲SIGGRAPH Asia最佳論文獎外，實驗室研究成果“Joint Neural Phase Retrieval and Compression for Energy- and Computation-Efficient Holography on the Edge”論文也在2022年8月榮獲了SIGGRAPH 2022首次最佳論文榮譽提名獎。
基于韻律感知的演講手勢生成系統
文章提出了一個新的由語音和文字來驅動3D上半身人體模型進行手勢表演的跨模态生成系統。該系統依據手勢相關的語言學研究理論，首次顯式地從韻律（rhythm）和語義（semantics）兩個維度對語音文字和手勢之間的關系進行建模，從而保證生成的手勢動作既韻律匹配又具備合理的語義。
“基于韻律的切分歸一化管道”（左半圖）确保韻律，解耦合并構建跨模态高層次語義特征映射關系（右半圖）保證語義性。
如何讓計算機根據語音和文字輸入自動生成手勢是一個研究了近30年的問題。由于語言和手勢具有弱相關性和多義性，近年最先進的端到端（end-to-end）神經網絡系統難以有效地挖掘出手勢的韻律和語義。為了解決這一問題，該研究團隊從傳統的語言學理論出發，首先提出了一個“基于韻律的切分歸一化流程”，顯式地确保輸入語音文字和生成手勢間時序上的和諧性，然後分别解耦合了語音和手勢不同層次的特征，并顯式構建了兩個模态不同層次特征間的映射關系，同時保證生成的手勢能夠具備明确的語義。
韻律感知（跟随音樂擺動）
從手勢生成結果來看，該系統主要有如下特性：（1）韻律感知。能夠根據輸入語音的節奏生成合拍的手勢動作，甚至對于音樂等非語音的輸入也能地捕捉其節奏，并随之“擺動”；（2）語義感知。當輸入語言包含強語義詞（比如me、many以及no等）時，能生成符合含義的語義手勢；（3）風格編輯。能夠通過加入控制信号，控制生成手勢的風格（比如手高度、手勢速度以及雙手半徑等）。
總結來說，該工作提出了一個新的基于語音文字輸入的角色手勢生成系統。相較于之前工作，這是第一個顯式建模了語言與手勢間韻律（rhythm）和語義（semantics）對應關系的神經網絡系統，其在領域客觀和主觀評價指标下均取得了目前最優結果。此外，該工作對“如何讓神經網絡系統生成既韻律匹配又具備合理語義的手勢動作”這一難題提供了初步解決方法，并進行了充足試驗證明其有效性。最後，該論文的思想有望泛化至其他語音/文字驅動相關的多模态生成任務，為如何改善“暴力”、“黑盒”型端到端系統提供新的視角。
論文詳細介紹：https://mp.weixin.qq.com/s/MMTO_BqO51JT5ucpUDo4TQ
Video Demo: https://www.bilibili.com/video/BV1G24y1d7Tt/
