工業(yè) 4.0 的目標(biāo)是提高制造業(yè)生產(chǎn)流程的自動化程度。而工業(yè) 5.0 倡導(dǎo)利用人工智能實現(xiàn)人類與機(jī)器人之間以人為中心的協(xié)作，即協(xié)作機(jī)器人 (cobot)，以便通過提高自動化程度來優(yōu)化制造流程。機(jī)器視覺是工業(yè) 4.0 和 5.0 中的一項關(guān)鍵技術(shù)，在邊緣實時處理視覺數(shù)據(jù)對于機(jī)器視覺至關(guān)重要。機(jī)器視覺的主要用例包括：

• 數(shù)量和存在檢測，其中 2D 或 3D 攝像頭驗證裝配和包裝系統(tǒng)中是否存在或缺失零件和原料。基于視覺的深度學(xué)習(xí)用于檢測、分類和統(tǒng)計零件和原料。
• 視覺質(zhì)量檢測，在各種視覺檢測中使用基于 2D 或 3D 視覺的深度學(xué)習(xí)技術(shù)，例如檢測缺陷或識別印刷電路板 (PCB) 上的字符、測量器件尺寸、驗證器件是否正確組裝以及標(biāo)簽是否正確地包裹在容器表面、檢測工具磨損缺陷以進(jìn)行預(yù)防性維護(hù)，以及太陽能電池板、渦輪機(jī)、管道等基于 UAV 或無人機(jī)的故障檢測系統(tǒng)。
• 視覺引導(dǎo)機(jī)器人，例如，機(jī)械臂拾取和放置零件或箱子是利用機(jī)器視覺來實現(xiàn)人與協(xié)作機(jī)器人之間更好協(xié)作的另一個用例。使用安裝在機(jī)械臂上的攝像頭，估算要拾取的物體的姿態(tài)，并計算機(jī)械臂的適宜路徑。
• 基于攝像頭的條形碼讀取系統(tǒng)在電子商務(wù)物流市場上越來越受歡迎。由于許多客戶在網(wǎng)上購物時要求在 1 到 2 天或更短時間內(nèi)發(fā)貨，因此物流市場已廣泛采用基于攝像頭的條形碼讀取系統(tǒng)來提高包裹處理吞吐量，并因而縮短平均配送時間。在條形碼讀取系統(tǒng)中，包裹放置在快速移動的條碼掃描通道上，基于攝像頭的條形碼讀取器安裝在通道的上方、左側(cè)和右側(cè)，以高幀速率讀取包裹上的 2D 或 3D 條形碼。在條形碼讀取系統(tǒng)中，因為讀取條形碼失敗會導(dǎo)致需要手動處理，所以保證非常成功的條形碼讀取率很重要。對于未讀取條形碼的包裹，操作員手動鍵入信息，并用新條形碼替換損壞的條形碼。人工干預(yù)會增加人工成本并降低效率，從而導(dǎo)致吞吐量降低。為了提高條形碼讀取的成功率，基于攝像頭的條形碼讀取器使用 AI 來定位條形碼，并篩選出損壞或采集不良的條形碼。

圖 3-2 AM69A 上的機(jī)器視覺數(shù)據(jù)流方框圖

圖 3-2 展示了 AM69A 上機(jī)器視覺用例示例的數(shù)據(jù)流，其中涉及通過 MIPI CSI-2 RX 端口以 30fps 的速率采集三個 8MP 圖像序列。通過 VPAC3 VISS 對采集的原始 Bayer 圖像進(jìn)行處理并去馬賽克，轉(zhuǎn)換成 YUV 格式，并且 VPAC3 LDC 可校正存在的任何鏡頭失真。在這個機(jī)器視覺用例中，將深度學(xué)習(xí)網(wǎng)絡(luò)應(yīng)用于使用 A72 內(nèi)核提取的感興趣區(qū)域 (ROI)。ROI 的數(shù)量及其大小因具體用例而異。應(yīng)用深度學(xué)習(xí)網(wǎng)絡(luò)的幀速率也取決于用例。通過深度學(xué)習(xí)預(yù)處理、MMA 上的深度學(xué)習(xí)網(wǎng)絡(luò)和深度學(xué)習(xí)后處理獲得的輸出通過 DSS 顯示。如果檢測出任何異常，可以通過激活警報來引起人們的注意。

表 3-2 顯示了對三個 8MP 攝像頭進(jìn)行采集時，AM69A 的資源利用率和估算功耗信息。在該表格中，假設(shè)單個 MMA 完全用于一個 8MP 攝像頭，不過實際的 MMA 利用率取決于具體的應(yīng)用。CSI-2、VPAC、A72 和 DDR 帶寬仍有足夠的空間來處理更高的分辨率。因此，只要 MMA 能夠以增加功率為代價來處理必要的深度學(xué)習(xí)推理，AM69A 就可以實現(xiàn)具有更高分辨率攝像頭（例如，12MP）的機(jī)器視覺用例。