幫 AI 開眼，美軍將開發仿神經型態攝影系統
作者 Alan Chen | 發布日期 2021 年 07 月 09 日 15:20 |
美國五角大廈近日宣佈將召集雷神、貝宜系統和諾斯洛普．格魯曼三家軍火公司，共同開發以仿神經型態技術為基礎的紅外線攝影系統，透過低功耗和低數據處理要求的特性，讓未來的 AI 機器人系統以及傳統偵查追蹤任務，能更有效率。
現代的影像技術雖然已經非常先進，精密攝影系統可以隨時捕捉兆畫素等級的高解析影像，但卻也造成數據處理、傳送和電力消耗的負擔越來越大，軍事應用上，高解析影像追蹤系統，如果用在單純的空中目標還相對容易，但只要是背景複雜的陸上或海上目標，高解析影像產生的大量數據容易使系統超載，高耗電性也相對限制無人機出任務的時間。
因此國防高等研究計劃署（Defence Advanced Research Projects Agency，DARPA）開始進行名為「快速事件驅動仿神經攝影及電子系統」（Fast Event-based Neuromorphic Camera and Electronics，FENCE）的開發。
FENCE 系統的目標，是仿照人類大腦在處理影像時，會自動聚焦在出現變化的像素，並忽略大部分背景及其他不重要畫素，以減少腦力和體力負荷。為達成目標，DARPA 與合作企業開發出這套系統幾項核心設備，包括仿神經型態系統的紅外線（IR）攝影機、低延遲、低耗能和事件驅動的焦面陣列（Focal Plane Array，FPA），採用異步通訊（Asynchornous communication）技術的讀出整合電路（Readout Intergrated Circuit，ROIC），以及專門協助 ROIC 接收處理空間和時間訊號的處理層（Processing Layer）。
「這套系統的目標是創造出智慧型影像感應器，大量減少攝影機傳送數據量和耗電量。」FENCE 計畫負責人 Whitney Mason 博士表示，新影像感應系統只需要處理變化中、最重要的畫素即可。
系統測試時只需 1.5 瓦電力即可操作，而 DARPA 的目標是將這項新裝置安裝在未來的 AI 車輛、載具和機器人，執行偵察和追蹤任務，因此影像感應裝置將成為無人載具的眼睛。
附圖：▲ DARPA 的 FENCE 系統將大量減少處理影像時所需的數據和耗電量，讓監控任務更有效率。（Source：Then24）
▲ FENCE 系統未來可強化無人機任務時間和效率。（Source：U.S. Air Force photo by Paul Ridgeway, Public domain, via Wikimedia Commons）
資料來源：https://technews.tw/2021/07/09/darpa-developing-neuromorphic-image-system-for-lower-data-processing-requirement/
neuromorphic camera 在 uzh-rpg/event-based_vision_resources - GitHub 的推薦與評價
CeleX-V: the first 1 Mega-pixel event-camera sensor. Sensitive DVS (sDVS) ... Visual Tracking Using Neuromorphic Asynchronous Event-Based Cameras, ... <看更多>