omniture

黑芝麻智能基于雷視融合3D自動(dòng)標(biāo)注技術(shù)助力自動(dòng)駕駛技術(shù)快速發(fā)展

2023-05-09 14:18 6461

上海2023年5月9日 /美通社/ -- 越來(lái)越多的新車(chē)開(kāi)始配備激光雷達(dá),以提高車(chē)輛的自主安全性和實(shí)現(xiàn)更高級(jí)別的輔助駕駛以及自動(dòng)駕駛能力。然而,純?nèi)斯?D標(biāo)注和驗(yàn)收的效率低、耗時(shí)長(zhǎng)、成本高昂。而通過(guò)先進(jìn)的AI技術(shù),利用車(chē)載激光雷達(dá)和多攝像頭,可以自動(dòng)地對(duì)車(chē)輛、行人、騎行人等動(dòng)態(tài)道路使用者進(jìn)行3D物體檢測(cè),進(jìn)而高效率地輔助甚至部分替代純?nèi)斯?biāo)注。

日前,在由黑芝麻智能主辦的"2023智能汽車(chē)高峰論壇"上,黑芝麻智能機(jī)器學(xué)習(xí)專(zhuān)家張蕾發(fā)表了主題為"基于激光雷視融合的3D自動(dòng)標(biāo)注技術(shù)助力自動(dòng)駕駛更上一層樓"的演講,分享了黑芝麻智能在3D數(shù)據(jù)自動(dòng)標(biāo)注方面的研發(fā)進(jìn)展。

自研系統(tǒng)性能方案比肩世界領(lǐng)先算法


在自動(dòng)駕駛中需要用道路上目標(biāo)物3D的位置進(jìn)行規(guī)劃和決策,但傳統(tǒng)的攝像頭解決方案對(duì)于深度和3D位置的估計(jì)不夠準(zhǔn)確。在采用了BEV技術(shù)以后,需要大量的真實(shí)3D標(biāo)注的數(shù)據(jù)來(lái)輔助訓(xùn)練BEV上的3D模型,這樣可以融合多個(gè)攝像頭的信息,直接去獲得3D世界的物體。

為此,黑芝麻智能自主設(shè)計(jì)和開(kāi)發(fā)了一套基于激光雷達(dá)和多攝像頭進(jìn)行3D自動(dòng)標(biāo)注的方案。該方案履行兩階段的方法,第一階段是先通過(guò)多幀點(diǎn)云的方式和圖像融合,得到初始的3D標(biāo)注;第二階段是以物體為中心的3D精調(diào),進(jìn)一步提高3D檢測(cè)精準(zhǔn)度。

對(duì)于3D物體框的精調(diào),黑芝麻智能采用了兩種不同方案。靜態(tài)物體在多幀點(diǎn)云對(duì)齊以后,可以得到一個(gè)密度非常高的單個(gè)物體點(diǎn)云。在單幀點(diǎn)云里即使看不到一個(gè)物體的全貌,但經(jīng)過(guò)以物體為中心的點(diǎn)云融合以后,基本上可以看到完整的物體形狀,這樣可以更好地估計(jì)其尺寸。另一方面,對(duì)于動(dòng)態(tài)物體,它的軌跡會(huì)形成一個(gè)有用的信息,根據(jù)動(dòng)態(tài)累計(jì)的點(diǎn)云也可以更好地估計(jì)其大小和空間上的位置。


張蕾介紹,黑芝麻智能的這一方案,融合了多種模態(tài),目前包括360度激光雷達(dá)和六個(gè)攝像頭的信息,還有前融合和后融合的方式。在兩階段的模型里面,采用的是以物體為中心的點(diǎn)云對(duì)齊精調(diào)的方式,生成高度緊湊的3D目標(biāo)檢測(cè)框。而多幀激光雷達(dá)點(diǎn)云的時(shí)序融合,能有效彌補(bǔ)單幀點(diǎn)云的稀疏和遮擋問(wèn)題。同時(shí),整個(gè)模型不同階段可以進(jìn)行多種融合,下一階段還可以在整個(gè)模型的不同層次階段進(jìn)行融合。另外,在采用了跟圖像檢測(cè)做后融合的方法以后,黑芝麻智能還將檢測(cè)物體的類(lèi)別從三類(lèi)擴(kuò)展到十三類(lèi),并且還可以通過(guò)聚合的方式實(shí)現(xiàn)復(fù)雜不規(guī)則物體的檢測(cè)。與此同時(shí),黑芝麻智能的方案,采用了模塊化設(shè)計(jì),可根據(jù)不同需求增加、去除可選的處理環(huán)節(jié),達(dá)到最優(yōu)化效益。

根據(jù)在Waymo公開(kāi)數(shù)據(jù)上測(cè)試的結(jié)果,黑芝麻智能3D 物體自動(dòng)標(biāo)注系統(tǒng)的性能可以比肩世界領(lǐng)先算法的性能。

自建數(shù)據(jù)采集系統(tǒng)與完整的云服務(wù)平臺(tái)


基于華山二號(hào)A1000芯片,黑芝麻智能還可同時(shí)提供傳感器采集設(shè)備,客戶(hù)可基于這套設(shè)備同步采集360度旋轉(zhuǎn)激光雷達(dá)和6個(gè)1080p攝像頭數(shù)據(jù),同時(shí)采集IMU、GPS、輪速編碼器等多種數(shù)據(jù)。

黑芝麻智能還可以對(duì)這一3D自動(dòng)標(biāo)注系統(tǒng)做進(jìn)一步擴(kuò)展,包括通過(guò)差異化的多模型集成來(lái)進(jìn)一步提高算法準(zhǔn)確度,通過(guò)運(yùn)行時(shí)的數(shù)據(jù)增強(qiáng)來(lái)進(jìn)一步提高算法準(zhǔn)確度,通過(guò)半監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)來(lái)訓(xùn)練更好的模型,通過(guò)在神經(jīng)網(wǎng)絡(luò)深層結(jié)構(gòu)上的多傳感器融合來(lái)進(jìn)一步提高模型能力,通過(guò)融合聚類(lèi)方法來(lái)檢測(cè)未知的路面障礙物等等。

張蕾在演講結(jié)尾時(shí)表示,在開(kāi)發(fā)基于激光雷達(dá)和多攝像頭的自動(dòng)駕駛領(lǐng)域的 3D 物體自動(dòng)標(biāo)注系統(tǒng)的同時(shí),黑芝麻智能可為客戶(hù)提供數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、3D 自動(dòng)標(biāo)注、人工標(biāo)注及檢驗(yàn)的云服務(wù)平臺(tái)。

消息來(lái)源:黑芝麻智能
China-PRNewsire-300-300.png
全球TMT
微信公眾號(hào)“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營(yíng)動(dòng)態(tài)、財(cái)報(bào)信息、企業(yè)并購(gòu)消息。掃描二維碼,立即訂閱!
collection