香港科技大學(xué)的研究員Shaojie Shen和Li Chuhao 公布了一項(xiàng)新穎而有趣的創(chuàng)新技術(shù)，該技術(shù)使用全息增強(qiáng)現(xiàn)實(shí)硬件生成實(shí)時3D地形圖  ，并使無人機(jī)飛行員可以簡單地指出已在任何平面上方可視化的目標(biāo)，virtualrealitytimes.com報道。

全息界面使用多種技術(shù)來進(jìn)行渲染。為了顯示，Microsoft HoloLens耳機(jī)以彩色體素貼圖的形式生成AR內(nèi)容，可以從任何角度查看。它通過自主無人機(jī)的深度攝像頭以及實(shí)時位置數(shù)據(jù)的射線廣播來進(jìn)行中繼。該系統(tǒng)為操作員提供了實(shí)時，高度空間感的環(huán)境海拔高度和深度，并且使無人機(jī)可以很容易地從第三人稱視角看到并重新定位。

HoloLens頭戴式耳機(jī)將命令反饋給無人機(jī)，并通過將佩戴者的手勢和注視變?yōu)轭愃泣c(diǎn)擊的控件來確定其在全息圖內(nèi)的下一個目標(biāo)。隨后，自主無人機(jī)可以在移動3D地圖的同時更新到新位置。

研究人員發(fā)布了一個演示視頻，看起來更像是科幻電影中的東西，尤其是全息方面。但是，由于帶寬限制，無人機(jī)只能向增強(qiáng)現(xiàn)實(shí)界面提供3D地圖數(shù)據(jù)，而不能中繼隨附的第一手視頻。

在部署全息無人機(jī)控制系統(tǒng)之前，研究團(tuán)隊(duì)還有一段路要走。無人機(jī)的數(shù)據(jù)最初是在室內(nèi)測試空間中使用Wi-Fi共享的，但對于室外應(yīng)用，一旦5G網(wǎng)絡(luò)超出了其當(dāng)前的無人機(jī)限制階段，就有可能使用低延遲的5G蜂窩連接。

研究人員指出，第一批測試人員經(jīng)常抱怨“（AR）視野非常有限”。即將推出的HoloLens 2 AR耳機(jī)將解決此問題。盡管先前對增強(qiáng)現(xiàn)實(shí)硬件不熟悉，但第一組也需要練習(xí)以更加精通3D定位，這種情況可能會蔓延到不完善的3D UI或手勢識別中。

但是，3D地圖數(shù)據(jù)將比真人視頻具有更高的帶寬效率。每秒更新10次時，它可能僅需要272MB數(shù)據(jù)。實(shí)時視頻需要1.39GB的數(shù)據(jù)才能以每秒30幀的速度傳輸?shù)谝蝗朔Q視頻圖像。將來，該團(tuán)隊(duì)還旨在為最終用戶的利益合并兩種流類型，以幫助優(yōu)化數(shù)據(jù)以滿足網(wǎng)絡(luò)的最小帶寬水平。

盡管存在這些初期問題，但全息增強(qiáng)現(xiàn)實(shí)系統(tǒng)仍顯示出很大的潛力。除了其新穎的視覺界面外，它還使您只需使用簡單的便攜式獨(dú)立增強(qiáng)現(xiàn)實(shí)耳機(jī)即可方便地控制遠(yuǎn)程無人機(jī)，而不必依賴于常規(guī)且功能齊全的計(jì)算機(jī)，顯示器和操縱桿。

研究人員計(jì)劃在 定于2020年10月25 日至 29日舉行的國際智能機(jī)器人和系統(tǒng)會議上展示將AR與自動無人機(jī)合并的“第一步”  。