機(jī)器視覺有著令人印象深刻的各種記錄。它具有超強(qiáng)的識別人、面孔和物體的能力。它甚至可以識別許多不同類型的動作，盡管還不如人類。
但它的表現(xiàn)也有局限。當(dāng)人、臉或物體部分被遮擋時，機(jī)器會識別起來就會很困難。當(dāng)光線水平下降得太厲害時，它們就會像人類被蒙住雙眼一樣無法識別。
但是，電磁波譜的另一部分就不會受到這種限制。無線電波充斥著我們的世界，無論是黑夜還是白天。它們很容易穿過墻壁，并通過人體傳播和反射。事實(shí)上，研究人員已經(jīng)開發(fā)出各種利用Wi-Fi無線信號來觀察門后情況的方法。
但是這些無線電視覺系統(tǒng)有一些缺點(diǎn)。它們的紅外分辨率很低，圖像嘈雜，充滿了讓人分心的反射，這使得很難理解發(fā)生了什么。
在這個意義上，無線電圖像和可見光圖像具有互補(bǔ)的優(yōu)點(diǎn)和缺點(diǎn)。這就有了利用一方的優(yōu)勢來克服另一方的缺點(diǎn)的可能性。
麻省理工學(xué)院的李天紅和他的同事們找到了一種方法，通過可見光圖像訓(xùn)練無線電視覺系統(tǒng)來識別人們的動作。新的無線電視覺系統(tǒng)可以在可見光成像失敗的情況下，在大范圍內(nèi)看到人們在做什么。李說，“我們引入了一個神經(jīng)網(wǎng)絡(luò)模型，它可以通過墻壁和遮擋來檢測人類的行為，并且在光線不好的條件下也可以”。
這個團(tuán)隊(duì)的方法使用了一個巧妙的技巧。其基本思想是利用可見光和無線電波記錄同一場景的視頻圖像。機(jī)器視覺系統(tǒng)已經(jīng)能夠從可見光圖像中識別人類行為。下一步是將這些圖像與同一場景的無線電圖像聯(lián)系起來。
但難點(diǎn)在于確保學(xué)習(xí)過程關(guān)注的是人體動作，而不是其他特征，比如背景。因此，李和同事引入了一個中間步驟，在這個步驟中，機(jī)器生成三維簡筆畫模型，重現(xiàn)場景中人們的動作。
“通過將輸入轉(zhuǎn)換成中間的基于骨架的表示，我們的模型可以從基于視覺和基于無線電頻率的數(shù)據(jù)集中學(xué)習(xí)，并允許這兩個任務(wù)互相幫助?！崩钤谡撐闹斜硎尽?/span>
通過這種方式，系統(tǒng)學(xué)會在可見光下識別動作，然后利用無線電波識別在黑暗中或墻后發(fā)生的相同動作。研究人員說：“我們的研究表明，我們的模型在可視場景下達(dá)到了與基于視覺的動作識別系統(tǒng)相當(dāng)?shù)木?，但在人不可見的情況下仍然能夠準(zhǔn)確工作?！?/span>
這是一項(xiàng)很有趣的工作，有很大的潛力。最明顯的應(yīng)用是在可見光圖像在弱光條件下和關(guān)起門后出現(xiàn)故障的場景中。
但也有其他的應(yīng)用。可見光圖像的一個問題是人們是可識別的，這就引發(fā)了隱私問題。
但是無線電系統(tǒng)沒有面部識別的分辨率。識別行為而不識別人臉不會引起同樣的隱私恐懼?！八梢詫幼髯R別帶到人們的家中，并將其整合到智能家居系統(tǒng)中，”李說。例如，它可以用于監(jiān)控老年人的住宅，并在摔倒時提醒相關(guān)服務(wù)部門。而且這樣做不會對隱私造成太大的風(fēng)險(xiǎn)。
來源：機(jī)器視覺網(wǎng)，犀靈機(jī)器人http://www.v9054.cn整理發(fā)布