機器視覺有著令人印象深刻的各種記錄。它具有超強的識別人、面孔和物體的能力。它甚至可以識別許多不同類型的動作，盡管還不如人類。
但它的表現(xiàn)也有局限。當人、臉或物體部分被遮擋時，機器會識別起來就會很困難。當光線水平下降得太厲害時，它們就會像人類被蒙住雙眼一樣無法識別。
但是，電磁波譜的另一部分就不會受到這種限制。無線電波充斥著我們的世界，無論是黑夜還是白天。它們很容易穿過墻壁，并通過人體傳播和反射。事實上，研究人員已經(jīng)開發(fā)出各種利用Wi-Fi無線信號來觀察門后情況的方法。
但是這些無線電視覺系統(tǒng)有一些缺點。它們的紅外分辨率很低，圖像嘈雜，充滿了讓人分心的反射，這使得很難理解發(fā)生了什么。
在這個意義上，無線電圖像和可見光圖像具有互補的優(yōu)點和缺點。這就有了利用一方的優(yōu)勢來克服另一方的缺點的可能性。
麻省理工學院的李天紅和他的同事們找到了一種方法，通過可見光圖像訓練無線電視覺系統(tǒng)來識別人們的動作。新的無線電視覺系統(tǒng)可以在可見光成像失敗的情況下，在大范圍內(nèi)看到人們在做什么。李說，“我們引入了一個神經(jīng)網(wǎng)絡模型，它可以通過墻壁和遮擋來檢測人類的行為，并且在光線不好的條件下也可以”。
這個團隊的方法使用了一個巧妙的技巧。其基本思想是利用可見光和無線電波記錄同一場景的視頻圖像。機器視覺系統(tǒng)已經(jīng)能夠從可見光圖像中識別人類行為。下一步是將這些圖像與同一場景的無線電圖像聯(lián)系起來。
但難點在于確保學習過程關(guān)注的是人體動作，而不是其他特征，比如背景。因此，李和同事引入了一個中間步驟，在這個步驟中，機器生成三維簡筆畫模型，重現(xiàn)場景中人們的動作。
“通過將輸入轉(zhuǎn)換成中間的基于骨架的表示，我們的模型可以從基于視覺和基于無線電頻率的數(shù)據(jù)集中學習，并允許這兩個任務互相幫助?！崩钤谡撐闹斜硎尽?/span>
通過這種方式，系統(tǒng)學會在可見光下識別動作，然后利用無線電波識別在黑暗中或墻后發(fā)生的相同動作。研究人員說：“我們的研究表明，我們的模型在可視場景下達到了與基于視覺的動作識別系統(tǒng)相當?shù)木?，但在人不可見的情況下仍然能夠準確工作?！?/span>
這是一項很有趣的工作，有很大的潛力。最明顯的應用是在可見光圖像在弱光條件下和關(guān)起門后出現(xiàn)故障的場景中。
但也有其他的應用?？梢姽鈭D像的一個問題是人們是可識別的，這就引發(fā)了隱私問題。
但是無線電系統(tǒng)沒有面部識別的分辨率。識別行為而不識別人臉不會引起同樣的隱私恐懼?！八梢詫幼髯R別帶到人們的家中，并將其整合到智能家居系統(tǒng)中，”李說。例如，它可以用于監(jiān)控老年人的住宅，并在摔倒時提醒相關(guān)服務部門。而且這樣做不會對隱私造成太大的風險。
來源：機器視覺網(wǎng)，犀靈機器人http://v9054.cn整理發(fā)布