#物聯網IoT #機器視覺 #人工智慧AI #微控制器MCU #軟體開發套件SDK #Glow編譯器 #影像感測器 #擴增實境AR #虛擬實境VR
【機器視覺的感知＆處理】
今年以來，肺炎疫情重傷不少產業，卻意外讓某些科技應用成為受惠者，機器視覺 (Machine Vision) 便是其一。研調機構預測，2025 年約有 98% 的邊緣裝置都將使用某種形式的機器學習 (ML)／人工智慧 (AI)，這意味著：消費型裝置製造商和嵌入式物聯網 (IoT) 開發者需將機器學習框架最佳化，以便在微控制器 (MCU) 實現低功耗的邊緣嵌入式應用。
於是，有晶片廠推出業界首款用於 MCU 的 Glow 神經網路編譯器 (Neural Network Compiler)，並已整合到自家機器學習軟體開發環境；如此一來，更容易與特定目標整合、省卻即時編譯程序、生成高度最佳化代碼，進而提升硬體平台的神經網路效能。除了智能相機，進一步內嵌整合圖像處理器 (Integrated Graphic
Processor, IGP) 的「智能視覺感測器」正引起關注。
基本上，畫素越高的智慧影像感測器，需要更大的數據量、更強的運算單元，功耗和儲存空間也會相應增加，AI 機器視覺需加以綜合考量。另一方面，當使用傳統 CMOS 影像感測器拍攝視訊時，必須發送每個單獨數據幀予 AI 單元處理，導致數據傳輸量增加且難以即時處理；所以，AI 機器視覺須因時空制宜。此外，攝影模式也是關鍵，特別是移動中或需要近紅外線照明的場景時。
相較於依序逐步擷取畫素數據、須經校正的「捲簾快門」(Rolling Shutter)，同時保存每格畫面所有畫素資料的「全域快門」(Global Shutter) 是拍攝無失真影像的首選模式，適合擴增實境／虛擬實境 (AR/VR)、同時定位和地圖建置 (SLAM) 及 3D 掃描。雖然邊緣設備的就地處理能力日漸茁壯，但礙於有限運算和儲存資源，現階段仍多以推論或類似「學前教育」的預處理為主。
巨量資料的訓練，還是偏好在雲端進行。為此，催生一種新的商業模式：導將收集到的感測器數據送到雲端 ML 模型訓練、予以簡化後，再回頭部署至 Arm Cortex-M 之感測器、智能插座／燈泡或穿戴裝置等嵌入式設備，將精簡過的「輕量版」模型導入各大MCU 硬體平台，已與 Arduino、ST、Eta Compute 簽署協議；付費用戶還可使用雲端追蹤和共享功能，進一步針對特定用例調整模型。
延伸閱讀：
《機器學習進駐邊緣，Embedded Vision 亮起來》
http://compotechasia.com/a/feature/2020/0910/45716.html
#恩智浦NXP #eIQ #MCUXpresso #安森美半導體ON #AR1335 #意法半導體ST #VD56G3 #EdgeImpulse #工研院機械所
vd56g3 在 ST Global Shutter Image Sensor VD56G3（ST全局快门传感器 ... 的推薦與評價
ST VD56G3 (1.5Mp) 全局快门影像传感器, 高达88fps全尺寸(1124 x 1364)输出，支持Optical Flow，动态相量动能使得SLAM和测程计算更高效。 ... <看更多>