武漢2023年6月27日 /美通社/ -- 近日,由黑芝麻智能主辦的"2023智能汽車高峰論壇"匯聚了眾多行業(yè)專家和企業(yè)代表。在其中的軟件論壇上,來自不用領(lǐng)域的嘉賓共同探討新形勢下汽車軟件行業(yè)的未來。黑芝麻智能深度學(xué)習(xí)研發(fā)高級總監(jiān)王祚官在論壇上發(fā)表了主題為"BEV感知,給自動駕駛開啟‘上帝視角'"的主旨演講,分享黑芝麻智能在BEV感知方面的研發(fā)進展。
感知質(zhì)量更好的前融合方案
BEV是Bird's-Eye-View Perception的縮寫,即鳥瞰視角感知,簡單而言就是融合車載多視角攝像頭的輸入,然后變成鳥瞰圖的檢測輸出,可用于各種下游任務(wù)。
相校于傳統(tǒng)的感知算法,BEV感知有明顯優(yōu)勢。如果把多視角的感知看作一個融合過程,傳統(tǒng)的感知算法可以看作是一個后融合方案,其典型做法是對每一路輸入的視頻做單獨檢測,然后通過一些方法把檢測結(jié)果融合起來。其缺點是會產(chǎn)生一些比較大的累計誤差。
BEV感知則屬于前融合感知,把圖像特征先融合起來,直接生成BEV的檢測結(jié)果,如此省去了很多中間步驟,生成的感知結(jié)果質(zhì)量比后融合方案的更好。
王祚官表示,BEV感知能為自動駕駛感知任務(wù)提供有效的時空表征方法,將成為車載感知的主流發(fā)展方向。
黑芝麻智能開發(fā)多重亮點的BEV技術(shù)
王祚官介紹,黑芝麻智能的BEV框架主要分三部分:第一部分是特征提取,對每一路輸入的圖像,提取其圖像特征;第二部分是BEV的特征生成,包含空間的融合和時間的融合;第三部分是目標(biāo)檢測。
整體而言,黑芝麻智能開發(fā)的BEV技術(shù)有諸多亮點:上下文感知增強的BEV投影,可自適應(yīng)時空采樣,可學(xué)習(xí)車道結(jié)構(gòu)的碼本,基于"BST渲染器"的實時矢量化地圖構(gòu)建能力,結(jié)合"NeRF + LiDAR"的 Occupancy Grid Map(占位柵格地圖)功能 ,以及芯片本身的高效網(wǎng)絡(luò)架構(gòu)與強大性能。
在將圖像投影到三維空間時,現(xiàn)有方法僅從一條光線中采樣上下文特征。黑芝麻智能采用了上下文感知的增強BEV,圖象包括非常豐富的場景信息,最終可以得到質(zhì)量非常高的BEV。
空間的融合之后,緊接著就是時間的融合,典型做法是把當(dāng)前均勻采樣的幀融合在一起。但這樣做有一個明顯問題,即車輛停止的時候,采樣會產(chǎn)生大量重復(fù)的幀,造成之前的路面信息丟失,導(dǎo)致算力浪費,而且感知范圍會變小。黑芝麻智能的做法是增加了空間上的抽樣,即根據(jù)車身信息,每隔一定的距離做抽樣,然后把空間抽樣和時間抽樣結(jié)合起來,作為最后的目標(biāo)檢測。通過這種方式,車輛在緩慢行駛甚至停止的情況下,仍然能夠保證有較大的感知范圍。
車道是高度規(guī)則化的結(jié)構(gòu),黑芝麻智能設(shè)計了用低維編碼的方法來引入車道線的結(jié)構(gòu)信息,學(xué)習(xí)并保存多種車道結(jié)構(gòu)的碼本(Codebook),并在學(xué)習(xí)到的碼本指導(dǎo)下進行預(yù)測。
在車輛周圍實時生成地圖對自動駕駛非常關(guān)鍵。但是,地圖通常包含很多種類的元素,比如車道線、人行道、停車位等,這給網(wǎng)絡(luò)實時預(yù)測周圍地圖帶來了困難。黑芝麻智能采用矢量的方法作為統(tǒng)一的表達方式,開發(fā)了可微分的"BST-Renderer",將各種地圖元素渲染成圖像,然后對渲染出的圖像進行訓(xùn)練。用一致的矢量表示,的好處就是說,為后期的矢量地圖構(gòu)建提供了便利。
在提到OCCUPANCY GRID時,王祚官表示,一個空間是否被占據(jù),表示方法是把它離散化成等大小的立方體,用一個參數(shù)來表示這個立方體被占據(jù)的概率是多少。傳統(tǒng)的典型做法是使用LiDAR信號,但會出現(xiàn)信號缺失或被遮擋的問題。黑芝麻智能設(shè)計了"NeRF + LiDAR"的方案,與僅使用 LiDAR相比,可端到端訓(xùn)練,充分結(jié)合圖像信息和LiDAR信息,對被遮擋區(qū)域依然可以進行場景流監(jiān)督,可使用無LiDAR數(shù)據(jù)集進行模型微調(diào)。
此外,BEV模型里面使用了很多Transformer模型,鑒于Transformer注意力機制的計算成本較高,黑芝麻智能簡化了計算,使其適合在邊緣設(shè)備上運行。
自研高性能芯片為BEV模型落地提供支持
黑芝麻智能已將開發(fā)的BEV模型部署到旗下華山二號A1000芯片上。A1000芯片擁有58TOPS(INT8)的強大算力,有矩陣運行單元和非線性運算單元,再加上DSP,能夠滿足行業(yè)需求。與此同時,BEV模型還可部署在黑芝麻智能最新發(fā)布的武當(dāng)系列C1200芯片上。該系列是業(yè)內(nèi)首個智能汽車跨域計算芯片平臺。
作為中國本土自動駕駛芯片的供應(yīng)商之一,黑芝麻智能擁有全棧感知算法量產(chǎn)化能力,能夠提供客戶算法定制服務(wù),支持第三方算法移植,多種算法交付方式等靈活的商業(yè)模式。這些感知算法能夠加速并且助力一些中短期內(nèi)智能領(lǐng)航和泊車應(yīng)用產(chǎn)品快速落地,從而加速整個芯片的量產(chǎn)及應(yīng)用。