ZHCACW1 june 2023 AM69A , TDA4VH-Q1
使用 AI 盒向零售店、交通道路、工廠和樓宇中的現(xiàn)有非分析型攝像頭增加智能功能,是一種具有成本效益的方法。相比于使用具備 AI 功能的智能 AI 攝像頭替換傳統(tǒng)攝像頭,AI 盒性價(jià)比更高,更受歡迎。此類系統(tǒng)接收來自多個(gè)攝像頭的實(shí)時(shí)視頻流,對(duì)其進(jìn)行解碼并在邊緣進(jìn)行智能視頻分析,從而減輕了將大型視頻流傳輸回云進(jìn)行分析的負(fù)擔(dān)。視頻分析輸出在流式傳輸和保存到存儲(chǔ)之前進(jìn)行編碼。AI 盒的典型應(yīng)用包括:
圖 3-1 顯示了 AM69A 上的 AI 盒數(shù)據(jù)流,其中 12 個(gè) 2MP 位流通道以 30fps 的速率通過以太網(wǎng)傳輸。硬件加速的 H.264 或 H.265 解碼器對(duì)位流進(jìn)行解碼,并通過 MSC 將解碼的幀縮放到更小的分辨率。深度學(xué)習(xí)網(wǎng)絡(luò)在這些較小的分辨率幀上以較低的幀速率(例如,12fps)運(yùn)行。在深度學(xué)習(xí)預(yù)處理過程,將 YUV 格式的較小分辨率幀轉(zhuǎn)換為 RGB 格式,作為深度學(xué)習(xí)網(wǎng)絡(luò)的輸入格式。MMA 加快了深度學(xué)習(xí)推理。在深度學(xué)習(xí)后處理過程中,網(wǎng)絡(luò)輸出疊加在輸入幀上。然后,來自 12 個(gè)通道的輸出幀拼接在一起,形成單個(gè) 2MP 幀和 13 個(gè)通道(即 12 個(gè)通道加 1 個(gè)復(fù)合通道),通過硬件加速的 H.264 或 H.265 編碼器以較低的幀速率(例如,6fps)進(jìn)行編碼,然后流式傳輸或保存到存儲(chǔ)。
表 3-1 匯總了 12 通道和 16 通道位流的資源利用率和估算功耗。但是,由于視頻編解碼器的最大吞吐量有限,所以 16 通道位流的輸入幀速率和輸出幀速率需要分別降至 24fps 和 4fps。此處假設(shè)每個(gè)通道需要 1TOPS 進(jìn)行推理。仍然有兩個(gè) C7x 內(nèi)核可用于額外的視覺處理和 JPEG 圖像編碼,以便創(chuàng)建快照。在本例中,雖然深度學(xué)習(xí)預(yù)處理和后處理都在 A72 內(nèi)核上運(yùn)行,但它們也可以在可用的 C7x 內(nèi)核上運(yùn)行,其中的功耗略有不同。
| 主 IP | 利用率 (12 × 2MP (30fps)) | 利用率 (16 × 2MP (24fps)) |
|---|---|---|
| 解碼器 | 12 × 2MP (30fps) = 720MP/s (75%) | 16 × 2MP (24fps) = 768MP/s (80%) |
| 編碼器 | 12 × 2MP (6fps) + 1 個(gè)復(fù)合通道 × 2MP (6fps) = 156MP/s (17%) | 16 × 2MP (4fps) + 1 個(gè)復(fù)合通道 × 2MP (4fps) = 136MP/s (15%) |
| 編碼器 + 解碼器 | 720MP/s + 156MP/s = 876MP/s (92%) | 768MP/s + 136MP/s = 908MP/s (95%) |
| GPU | 20% | 20% |
| VPAC (MSC) | 12 × 2MP (30fps) = 720MP/s (60%) | 16 × 2MP (24fps) = 768MP/s (64%) |
| MMA | 12 × 1TOPS/通道 = 12TOPS (38%) | 16 × 1TOPS/通道 = 16TOPS (50%) |
| 8 × A72 | 深度學(xué)習(xí)預(yù)處理和后處理、拆包、JPEG 編碼等 (50%) | 深度學(xué)習(xí)預(yù)處理和后處理、拆包、JPEG 編碼等 (40%) |
| DDR 帶寬 | 9.49GBps (14%) | 11.95GBps (18%) |
| 功耗 (85°C) | 18W | 18W |