2 AM69 處理器

AM69A 處理器是 AM6xA 可擴(kuò)展嵌入式處理器系列中的高性能器件。除了八核 Arm? Cortex? A72 微處理器之外，AM69A 還具備更高水平的處理能力、圖像和視頻處理以及圖形功能。AM62A⁽¹⁾ 和 AM68A⁽²⁾ 分別適用于 1 – 2 個(gè)攝像頭和 4 – 8 個(gè)攝像頭的應(yīng)用，與之相比，AM69A 能夠?qū)崟r(shí)處理 12 個(gè)攝像頭，并提高了 AI 性能。如圖 2-1 所示，AM69A 處理器基于異構(gòu)架構(gòu)，包含多個(gè)子系統(tǒng)，具體如下：

• 一個(gè)主頻為 2GHz 的八核 Arm Cortex-A72 微處理器，提供高達(dá)每秒 100K Dhrystone DMIPS 的性能。
• 視覺(jué)處理加速器 V3 (VPAC3) 在視覺(jué)成像子系統(tǒng) (VISS) 中執(zhí)行圖像處理，以便通過(guò)去馬賽克、缺陷像素校正、自動(dòng)曝光、自動(dòng)白平衡、色差校正 (CAC) 等功能來(lái)支持原始圖像傳感器。此外，VPAC3 包括鏡頭失真校正 (LDC)、多標(biāo)量 (MSC) 和雙邊噪聲濾波 (BNF) 硬件加速器 (HWA) 功能，可加速校正失真的圖像，將圖像調(diào)低為多個(gè)分辨率以及進(jìn)行噪聲濾除。AM69A 有兩個(gè) VPAC3 實(shí)例，假設(shè)系統(tǒng)開(kāi)銷為 20%，這些實(shí)例每秒可以處理 1,200 MP (MP/s) 的圖像。
• 數(shù)字信號(hào)處理 (DSP) 和矩陣乘法加速器 (MMA) 集成在一起，用于深度學(xué)習(xí)加速和傳統(tǒng)的計(jì)算機(jī)視覺(jué)任務(wù)。AM69A 處理器有四個(gè)以 1GHz 頻率運(yùn)行的 512 位 C7x DSP。每個(gè) DSP 與四個(gè) MMA 之一緊密耦合，每個(gè)周期可以進(jìn)行 4K (64 × 64) 8 位固定乘法累加。當(dāng)以 1GHz 頻率運(yùn)行時(shí)，四個(gè) MMA 可提供 32 萬(wàn)億次運(yùn)算/秒 (TOPS) 的最大計(jì)算速度。
• H.264、H.265 編解碼器可以同時(shí)對(duì)多個(gè)通道進(jìn)行編碼和解碼。H.264、H.265 編解碼器支持 5.2 級(jí) H.264 基線/主/高配置文件，以及 5.1 級(jí) H.265 主配置文件。有兩個(gè)視頻編解碼器實(shí)例，所以 H.264、H.265 編碼器和解碼器處理速度為 960MP/s，例如，16 個(gè)速度為 30 幀/秒 (fps) 的 2MP 通道。
• AM69A 配備了 3 個(gè) 4 通道移動(dòng)行業(yè)處理器接口 (MIPI) CIS-2 RX 端口。可以將三個(gè)高分辨率（例如，12MP）攝像頭直接連接到 CSI-2 RX 端口，并由兩個(gè) VPAC3 實(shí)例進(jìn)行捕獲和預(yù)處理。可通過(guò) MIPI CSI-2 4:1 聚合器捕獲十二個(gè) 2MP 攝像頭。
• BXS-4-64 GPU 每秒可執(zhí)行高達(dá) 500 億次浮點(diǎn)運(yùn)算 (50 GFLOPS)，為增強(qiáng)視覺(jué)應(yīng)用實(shí)現(xiàn)動(dòng)態(tài) 2D 和 3D 渲染。
• 顯示子系統(tǒng) (DSS) 支持多個(gè)顯示器，可靈活地連接不同類型的面板，例如 eDP、DSI 和 DPI。
• 改進(jìn)的存儲(chǔ)器架構(gòu)和高速接口讓內(nèi)核和 HWA 實(shí)現(xiàn)高利用率，從而提高了系統(tǒng)吞吐量和能效。AM69A 支持高達(dá) 64 千兆字節(jié)/秒 (GBps) 的 DDR 存儲(chǔ)器帶寬。

深度學(xué)習(xí)推理效率對(duì)于邊緣 AI 系統(tǒng)的性能至關(guān)重要。如 TDA4 邊緣 AI 處理器性能和效率基準(zhǔn)測(cè)試 應(yīng)用手冊(cè)所示，與基于 GPU 的推理相比，基于 MMA 的深度學(xué)習(xí)推理在 FPS 和 TOPS 方面的效率提高了 60%。TI Model Zoo 也提供了針對(duì) C7xMMA 進(jìn)行優(yōu)化的網(wǎng)絡(luò)模型 ⁽³⁾，這是針對(duì) C7xMMA 進(jìn)行了優(yōu)化且適用于各種計(jì)算機(jī)視覺(jué)任務(wù)的 DNN 模型集合。這些模型包括常用的圖像分類、2D 和 3D 物體檢測(cè)、語(yǔ)義分割和 6D 姿態(tài)估計(jì)模型。對(duì)于 TI Model Zoo 中的幾個(gè)模型，包括 AM69A 在內(nèi)的 TI 嵌入式處理器上的 8 位定點(diǎn)推理性能可通過(guò) TI 的 Edge AI Studio 進(jìn)行評(píng)估。

AM6xA 的多核異構(gòu)架構(gòu)可為特定任務(wù)使用合適的可編程內(nèi)核或 HWA，從而可以靈活地為各種應(yīng)用優(yōu)化邊緣 AI 系統(tǒng)的性能。例如，在 AM69A 上，計(jì)算密集型深度學(xué)習(xí) (DL) 推理任務(wù)可以在四個(gè)使用優(yōu)化深度學(xué)習(xí)模型的 MMA 實(shí)例上運(yùn)行，而視覺(jué)處理、視頻編碼和解碼可轉(zhuǎn)移到兩個(gè) VPAC3 和硬件加速視頻編解碼器實(shí)例，以便獲得卓越性能。其他功能塊可編程到八個(gè) A72 內(nèi)核或可用的 C7x 內(nèi)核中。節(jié) 3介紹了如何在 AM69A 上構(gòu)建邊緣 AI 系統(tǒng)，以滿足幾種工業(yè)應(yīng)用場(chǎng)景的需求。