聽覺、言語與音樂方向以通用智能為目标，基于腦科學與類腦智能的研究範式，采用身體與環境交互的具身學習進路，重點開展複雜聲學環境的場景分析、人機言語交互、音樂智能創作等方面的理論、方法和應用研究，構建和完善聽知覺加工模型、言語知識表達與心智發展的新框架。

主要研究内容包括：聽覺的機理與建模，機器人複雜聲學環境中主/被動目标聲源檢測、定位和增強，言語知覺、理解與生成，音樂信号多聲源分離、分析，以及自動作曲、配器、演奏、混音與3D虛拟聲場等。賦予智能機器人自主環境分析與理解的聽感知和心智能力，并在真實環境中發展出通用目标、适應策略和有效方法。

本研究獲多項國家級、省部級、國際合作和橫向合作資金支持，其中包括國家重點研發計劃、國家重點基礎研究規劃（973）課題、國家高技術發展計劃（863）項目、國家自然科學基金重大項目或重點項目、國家社會科學基金重大項目、中央軍委科學技術委員會基礎加強計劃重點基礎研究課題、科技創新2030重大項目等，在相關研究和技術領域取得一系列顯著進展，多項研究成果發表在國内外著名期刊和頂級會議上，包括IEEE TASLP、hearing research、JASA、JAES、ICASSP、Interspeech、AAAI、AES Convetion等，共計70餘篇，申請國家發明專利50餘項。