近日，我校自動(dòng)化學(xué)院、人工智能學(xué)院物聯(lián)網(wǎng)智能機(jī)器人團(tuán)隊(duì)范保杰教授、徐豐羽教授與碩士生李嘯天同學(xué)的研究成果 GAFusion: Adaptive Fusing LiDAR and Camera with Multiple Guidance for 3D Object Detection（《面向三維目標(biāo)檢測(cè)的相機(jī)與激光雷達(dá)全局自適應(yīng)融合方法》）被國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議CVPR2024錄用。近年來(lái)，該團(tuán)隊(duì)已在計(jì)算機(jī)視覺(jué)頂級(jí)會(huì)議CVPR、ECCV，機(jī)器人頂級(jí)會(huì)議ICRA、IROS發(fā)表高水平論文10余篇。
該論文聚焦于多模態(tài)3D目標(biāo)檢測(cè)，特別是在鳥(niǎo)瞰圖（BEV）視角下的應(yīng)用。研究團(tuán)隊(duì)提出了一種名為GAFusion創(chuàng)新方法，通過(guò)稀疏深度引導(dǎo)（SDG）和激光雷達(dá)占據(jù)引導(dǎo)（LOG）生成具有豐富深度信息的3D特征，利用激光雷達(dá)引導(dǎo)的自適應(yīng)融合transformer（LGAFT）從全局角度增強(qiáng)不同模態(tài)BEV特征之間的交互。此外，他們還設(shè)計(jì)了一個(gè)BEV網(wǎng)格來(lái)存放多尺度下采樣特征，并開(kāi)發(fā)了多尺度雙路徑transformer（MSDPT），以擴(kuò)大不同模態(tài)特征的接受域，顯著提高了檢測(cè)性能。GAFusion有助于自動(dòng)駕駛領(lǐng)域安全性的重大提升，也為多模態(tài)3D目標(biāo)檢測(cè)領(lǐng)域后續(xù)的研究提供更多的見(jiàn)解。該研究成果同時(shí)得到了國(guó)家自然基金重點(diǎn)項(xiàng)目課題、國(guó)家自然基金面上項(xiàng)目等的支持。
GAFusion算法的整體框架圖
Nuscenes 數(shù)據(jù)集與BEVFusion對(duì)多類目標(biāo)三維檢測(cè)結(jié)果可視化比較
CVPR（全稱IEEE/CVF Conference on Computer Vision and Pattern Recognition）是人工智能與計(jì)算機(jī)視覺(jué)領(lǐng)域最頂級(jí)的國(guó)際學(xué)術(shù)會(huì)議（CCF A類會(huì)議）。據(jù)谷歌學(xué)術(shù)指標(biāo)最新統(tǒng)計(jì)，CVPR位列總榜第4，前三名分別為Nature、NEJM和Science，在計(jì)算機(jī)學(xué)科排名第1。
（撰稿：范保杰 初審：徐豐羽 編輯：王存宏 審核：張豐）