ZHCSRW1E February 2023 – November 2025 AM69 , AM69A
PRODUCTION DATA
請(qǐng)參考 PDF 數(shù)據(jù)表獲取器件具體的封裝圖。
深度和運(yùn)動(dòng)感知加速器 (DMPAC) 是一種高能效的硬件加速器,可根據(jù)攝像頭輸入計(jì)算密集立體深度圖(深度)和密集光流矢量(運(yùn)動(dòng))。
基于圖像/視頻傳感器的環(huán)境感知(也稱為“場(chǎng)景理解”)是汽車、工業(yè)和消費(fèi)電子領(lǐng)域許多新興應(yīng)用的核心。通常情況下,這涉及通過分析一個(gè)或多個(gè)相關(guān)輸入視頻流,檢測(cè)場(chǎng)景中的所有物體及其相對(duì)于觀察者或汽車的 3D 位置和運(yùn)動(dòng)。為執(zhí)行這些任務(wù),需使用各種計(jì)算機(jī)視覺算法。
從圖像中獲取 3D 深度的一種非常可靠的方法是在立體環(huán)境中使用兩個(gè)攝像頭,這兩個(gè)攝像頭具有已知的相對(duì)位置和攝像頭參數(shù)。通過分析從兩個(gè)不同的攝像頭方位/視角捕獲的同一場(chǎng)景的兩幅圖像,即可找出圖像中每個(gè)像素位置之間的差異。這稱為立體視差圖。根據(jù)每個(gè)像素的視差值,可以通過三角測(cè)量算法獲取其所屬物體/空間的 3D 位置。
另一方面,通過分析單個(gè)攝像頭在兩個(gè)不同時(shí)間實(shí)例(即視頻中的兩個(gè)時(shí)間幀)捕獲的兩個(gè)圖像,可以確定過去幀中的每個(gè)像素在未來(lái)幀中移動(dòng)到的位置。這稱為光流矢量。每個(gè)像素位置的光流矢量可用于獲取場(chǎng)景的 3D 結(jié)構(gòu)、識(shí)別移動(dòng)物體并確定其相對(duì)運(yùn)動(dòng)速度和方向。
DMPAC 專用于上述圖像處理任務(wù)。立體和光流處理分為兩個(gè)頂級(jí)子塊:密集光流 (DOF) 引擎和立體視差引擎 (SDE)。DOF 和 SDE 塊共享一個(gè)通用的共享本地存儲(chǔ)器、DMA、外部消息傳遞和控制基礎(chǔ)結(jié)構(gòu)。
有關(guān)更多信息,請(qǐng)參閱器件 TRM 的處理器和加速器 一章中的深度和運(yùn)動(dòng)感知加速器 (DMPAC) 一節(jié)。