本案例由數(shù)之聯(lián)投遞并參與評(píng)選,數(shù)據(jù)猿獨(dú)家全網(wǎng)首發(fā)。
我國(guó)地域廣博,地質(zhì)、自然條件復(fù)雜,是自然災(zāi)害頻發(fā)的國(guó)家。近年來,突發(fā)災(zāi)難性事件頻繁發(fā)生,嚴(yán)重威脅人民的生命和財(cái)產(chǎn)安全,同時(shí),也對(duì)社會(huì)穩(wěn)定造成了較大影響。因此,加強(qiáng)對(duì)突發(fā)事件的應(yīng)急管理,是關(guān)系到國(guó)家經(jīng)濟(jì)和社會(huì)發(fā)展全局以及人民群眾生命財(cái)產(chǎn)安全的大事。
面臨自然災(zāi)害頻發(fā)、公共安全形勢(shì)嚴(yán)峻復(fù)雜等情況,迫切需要補(bǔ)齊信息化短板,綜合運(yùn)用5G網(wǎng)絡(luò)、大數(shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算、人工智能等新技術(shù),建設(shè)具有系統(tǒng)化、扁平化、立體化、智能化、人性化等特征的現(xiàn)代化應(yīng)急救援系統(tǒng)。
在此背景下,四川省通信管理局、四川省應(yīng)急管理廳、四川省總工會(huì)決定于2019年5月啟動(dòng)“四川省5G+應(yīng)急應(yīng)用職業(yè)技能競(jìng)賽”,該競(jìng)賽旨在面向社會(huì)、企業(yè)及個(gè)人等廣泛征集5G+應(yīng)急應(yīng)用,凝聚全社會(huì)的能力與資源,進(jìn)一步探索5G在監(jiān)測(cè)預(yù)警、安全生產(chǎn)、消防防火、應(yīng)急調(diào)度等應(yīng)急場(chǎng)景潛在需求、業(yè)務(wù)模式和技術(shù)支撐,深入挖掘并孵化一批5G+應(yīng)急特色應(yīng)用。
實(shí)施時(shí)間:
項(xiàng)目啟動(dòng)——2019年5月17日,四川省通信管理局、四川省應(yīng)急管理廳、四川省總工會(huì)聯(lián)合印發(fā)川通局聯(lián)〔2019〕2號(hào)文—“關(guān)于舉辦2019年四川省5G+應(yīng)急應(yīng)用職業(yè)技能競(jìng)賽的通知”。
選拔賽階段——2019年7月26日前,完成系統(tǒng)研制,并提交參賽方案。經(jīng)過研判,數(shù)之聯(lián)決定聯(lián)合合作伙伴,采用基于無(wú)人機(jī)的影像實(shí)時(shí)拼接產(chǎn)品參賽。
決賽準(zhǔn)備階段——2019年8月1日,數(shù)之聯(lián)參賽方案最終從47個(gè)項(xiàng)目中脫穎而出,以賽道第二名的好成績(jī)順利進(jìn)入決賽。
決賽階段——2019年8月30日,數(shù)之聯(lián)方案—《智聯(lián)救援-5G+無(wú)人機(jī)智能應(yīng)急救援解決方案》通過決賽答辯,獲得優(yōu)勝獎(jiǎng)。
面臨挑戰(zhàn)
工業(yè)無(wú)人機(jī)在空中搜救、應(yīng)急救援等應(yīng)用中具有定位精度高、續(xù)航時(shí)間長(zhǎng)、應(yīng)急決策快、環(huán)境適應(yīng)性強(qiáng)等突出優(yōu)勢(shì)。但目前在大規(guī)模災(zāi)害救援的情形下,兩種主流的無(wú)人機(jī)應(yīng)急監(jiān)測(cè)方式均存在一定缺陷:
1、無(wú)人機(jī)搭載光電吊艙的方式雖然可以實(shí)現(xiàn)對(duì)現(xiàn)場(chǎng)態(tài)勢(shì)的實(shí)時(shí)直播,但只能獲取局部信息,無(wú)法為指揮人員提供災(zāi)害現(xiàn)場(chǎng)的全局態(tài)勢(shì);
2、無(wú)人機(jī)搭載正射相機(jī)的傳統(tǒng)航測(cè)方式,一般采用“航空攝影-像片野外控制測(cè)量-攝影測(cè)量空三加密-模型定向-地形測(cè)圖”的作業(yè)模式,成圖工序復(fù)雜、生產(chǎn)周期長(zhǎng)、效率低,并且需要布設(shè)大量野外地面控制點(diǎn),對(duì)于森林、山區(qū)、河流等無(wú)法涉足或找不到合適地面控制點(diǎn)的地區(qū),其應(yīng)用受到限制,無(wú)法真正發(fā)揮無(wú)人機(jī)遙感快速響應(yīng)、靈活機(jī)動(dòng)的優(yōu)勢(shì),制約了無(wú)人機(jī)在應(yīng)急救援中的應(yīng)用價(jià)值。
此外,目前對(duì)無(wú)人機(jī)影像的判讀也多為事后目視解譯,無(wú)法快速自動(dòng)提取災(zāi)情信息,同時(shí)由于缺少對(duì)氣象、地質(zhì)等環(huán)境數(shù)據(jù)的融合分析,也不利于應(yīng)急指揮人員開展科學(xué)高效的救援決策。
綜上所述,面向滑坡、泥石流、森林火災(zāi)、洪澇等大型災(zāi)害的無(wú)人機(jī)影像實(shí)時(shí)處理與智能決策分析問題亟待解決。目前基于人工智能的無(wú)人機(jī)影像實(shí)時(shí)處理及目標(biāo)解譯技術(shù)還在起步階段,若獲得成功必將為該問題的解決提供直接的方法和技術(shù)支撐,為基于無(wú)人機(jī)的防災(zāi)減災(zāi)與應(yīng)急救援研究提供有效的借鑒,并有望拓寬工業(yè)無(wú)人機(jī)的應(yīng)用場(chǎng)景,為無(wú)人機(jī)的產(chǎn)業(yè)發(fā)展提供重要支撐。
無(wú)人機(jī)搭載攝像頭實(shí)時(shí)視頻直播示意圖
傳統(tǒng)無(wú)人機(jī)航拍與數(shù)據(jù)處理流程圖
應(yīng)用場(chǎng)景
系統(tǒng)優(yōu)勢(shì)
“5G+無(wú)人機(jī)智能應(yīng)急救援系統(tǒng)”在實(shí)時(shí)性、適應(yīng)性與通用性、靈活性三個(gè)方面均有明顯的優(yōu)勢(shì)。
實(shí)時(shí)性
1、數(shù)據(jù)傳輸?shù)膶?shí)時(shí)性:基于新一代5G蜂窩移動(dòng)通信網(wǎng)絡(luò),為網(wǎng)聯(lián)無(wú)人機(jī)賦予了實(shí)時(shí)超高清圖傳、遠(yuǎn)程低時(shí)延控制、永遠(yuǎn)在線等重要能力。
2、數(shù)據(jù)處理實(shí)時(shí)性:利用基于AI、計(jì)算機(jī)視覺、WebGIS等技術(shù)的影像實(shí)時(shí)拼接與快速解譯算法模型,可以將實(shí)時(shí)回傳的影像數(shù)據(jù)準(zhǔn)實(shí)時(shí)處理,從而實(shí)現(xiàn)從任務(wù)下達(dá)到?jīng)Q策制定全流程的實(shí)時(shí)性與自動(dòng)化。
適應(yīng)性與通用性
1、無(wú)人機(jī)平臺(tái)適應(yīng)性:系統(tǒng)采用新一代純電動(dòng)垂直起降固定翼無(wú)人機(jī)平臺(tái),可掛載多類任務(wù)載荷,同時(shí)具有續(xù)航時(shí)間長(zhǎng)(2~6小時(shí))、飛行高度高(可達(dá)5000米)、環(huán)境適應(yīng)性強(qiáng)(抵抗6級(jí)風(fēng))等特點(diǎn),具有很強(qiáng)的適應(yīng)性。
2、軟件系統(tǒng)通用性:無(wú)人機(jī)影像實(shí)時(shí)拼接系統(tǒng)及智能分析決策系統(tǒng)的輸入數(shù)據(jù)僅為航拍影像、圖像POS(定位定向)數(shù)據(jù)以及相機(jī)參數(shù),數(shù)據(jù)格式無(wú)特殊要求,所以軟件系統(tǒng)具有多無(wú)人機(jī)平臺(tái)的通用性。
靈活性
1、無(wú)人機(jī)系統(tǒng)靈活性:系統(tǒng)采用新一代純電動(dòng)垂直起降固定翼無(wú)人機(jī)平臺(tái),具備多旋翼無(wú)人機(jī)垂直起降和定點(diǎn)環(huán)繞的優(yōu)勢(shì)及固定翼無(wú)人機(jī)速度快和航時(shí)長(zhǎng)的優(yōu)勢(shì),擁有拆卸組裝快(1分鐘內(nèi)完成)、運(yùn)輸攜帶便捷等特點(diǎn),遇有情況可迅即投入使用。
2、軟件系統(tǒng)部署靈活性:在不同的工作模式下,無(wú)人機(jī)影像實(shí)時(shí)拼接及智能分析決策兩個(gè)軟件系統(tǒng)既可以部署在計(jì)算機(jī)硬件中作為無(wú)人機(jī)地面系統(tǒng)的一部分使用,也可以部署在云平臺(tái)中在線進(jìn)行數(shù)據(jù)處理與分析。
應(yīng)用場(chǎng)景
綜上所述,系統(tǒng)具有“態(tài)勢(shì)感知全域化、數(shù)據(jù)處理實(shí)時(shí)化、決策分析智能化”的突出優(yōu)勢(shì),可廣泛適用于各類應(yīng)用場(chǎng)景。
●災(zāi)害應(yīng)急:地震、滑坡、泥石流、洪水、森林火災(zāi)等大范圍災(zāi)害發(fā)生時(shí)的應(yīng)急決策與指揮救援。
●國(guó)土測(cè)繪:對(duì)于森林、山區(qū)、河流等無(wú)法涉足或找不到合適地面控制點(diǎn)的地區(qū),實(shí)現(xiàn)測(cè)區(qū)整體環(huán)境的快速勘察,為航線規(guī)劃及控制點(diǎn)布設(shè)提供依據(jù)。
●公共安全:滿足大型會(huì)務(wù)環(huán)境巡邏,突發(fā)事件處理,邊境、敏感區(qū)域巡邏等需要。
●目標(biāo)搜尋:助力人員搜救、墜機(jī)搜尋、飛機(jī)、車輛等目標(biāo)搜尋工作。
●環(huán)境保護(hù):開展秸稈焚燒點(diǎn)搜尋,污染源搜索等工作。
數(shù)據(jù)支持
由于比賽演示現(xiàn)場(chǎng)的條件限制,不便使用無(wú)人機(jī)進(jìn)行現(xiàn)場(chǎng)飛行作業(yè),因此現(xiàn)場(chǎng)演示數(shù)據(jù)采用2019年6月20日長(zhǎng)寧縣雙河鎮(zhèn)(約1.5km)震后的無(wú)人機(jī)監(jiān)測(cè)數(shù)據(jù)。無(wú)人機(jī)監(jiān)測(cè)數(shù)據(jù)主要包括航拍影像、定位定向數(shù)據(jù)(Position and Orientation System, POS)以及相機(jī)參數(shù)三類。
航拍影像
共180張6000*4000分辨率的航測(cè)相片(分辨率為3cm),總?cè)萘考s1.8G,文件格式為JPG。
POS數(shù)據(jù)
集動(dòng)態(tài)GPS定位技術(shù)和慣性導(dǎo)航技術(shù)(INS)取于一體的定位定向系統(tǒng)(POS)應(yīng)用于航空遙感,可以直接得到影像的6個(gè)外方位元素,實(shí)現(xiàn)直接對(duì)地目標(biāo)定位,打破了傳統(tǒng)航空攝影測(cè)量和GPS輔助航空攝影測(cè)量必須進(jìn)行空中三角測(cè)量的限制。
POS數(shù)據(jù)的文件格式為CVS
相機(jī)參數(shù)
由于每次航拍作業(yè)的相機(jī)選型存在差異,所以系統(tǒng)支持手動(dòng)錄入相機(jī)參數(shù)。相機(jī)參數(shù)模板如下圖所示:
應(yīng)用技術(shù)/實(shí)施過程
技術(shù)方案
“2019年四川省5G+應(yīng)急應(yīng)用職業(yè)技能競(jìng)賽”的總體技術(shù)架構(gòu)如下圖所示,“5G+無(wú)人機(jī)智能應(yīng)急救援系統(tǒng)”主要屬于終端感知層和綜合應(yīng)用層,其中無(wú)人機(jī)搜索監(jiān)測(cè)系統(tǒng)為終端感知層產(chǎn)品,無(wú)人機(jī)影像實(shí)時(shí)拼接和智能分析決策系統(tǒng)屬于綜合應(yīng)用層。
5G+應(yīng)急應(yīng)用總體技術(shù)架構(gòu)
“5G+無(wú)人機(jī)智能應(yīng)急救援系統(tǒng)”的整體業(yè)務(wù)架構(gòu)如下圖所示。
5G+無(wú)人機(jī)智能應(yīng)急救援系統(tǒng)整體業(yè)務(wù)架構(gòu)
工作模式
“5G+無(wú)人機(jī)智能應(yīng)急救援系統(tǒng)”的工作模式主要包括三種:
工作模式1:本地處理+5G發(fā)布
本模式主要針對(duì)重大自然災(zāi)害發(fā)生后基礎(chǔ)網(wǎng)絡(luò)嚴(yán)重?fù)p毀的場(chǎng)景,以軟硬件一體的方式集成在無(wú)人機(jī)地面系統(tǒng),在無(wú)人機(jī)航拍飛行過程中通過微波圖傳鏈路實(shí)時(shí)傳回航拍影像和POS數(shù)據(jù),在本地進(jìn)行實(shí)時(shí)的無(wú)人機(jī)影像拼接和智能決策分析處理,并將分析后的信息通過5G應(yīng)急通訊網(wǎng)絡(luò)進(jìn)行Web發(fā)布,從而實(shí)現(xiàn)遠(yuǎn)程指揮中心對(duì)現(xiàn)場(chǎng)態(tài)勢(shì)的快速、實(shí)時(shí)感知。
本地處理+5G發(fā)布模式示意圖
工作模式2:云端處理+5G網(wǎng)聯(lián)無(wú)人機(jī)
本模式下,無(wú)人機(jī)終端和地面控制終端均通過5G網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳輸和控制指令傳輸, 5G網(wǎng)絡(luò)的大帶寬、低時(shí)延優(yōu)勢(shì)可實(shí)現(xiàn)圖像實(shí)時(shí)回傳至云平臺(tái),通過部署在云端的影像實(shí)時(shí)拼接與智能決策分析系統(tǒng)開展業(yè)務(wù)應(yīng)用,融合AI深度學(xué)習(xí)能力,快速要素解譯實(shí)現(xiàn)多手段的目標(biāo)鎖定及實(shí)時(shí)監(jiān)控。
但本模式比較依賴無(wú)人機(jī)的新空口5G天線設(shè)備,當(dāng)前相關(guān)技術(shù)及設(shè)備還處于研制初期,5G芯片和5G終端也還沒有到位,大規(guī)模的商業(yè)應(yīng)用尚不成熟。
5G網(wǎng)聯(lián)無(wú)人機(jī)模式示意圖
工作模式3:云端處理+5G網(wǎng)聯(lián)地面站
本模式下,無(wú)人機(jī)搜索系統(tǒng)內(nèi)部的圖像及控制指令傳輸依然使用微波通信鏈路,地面站通過5G通信鏈路(有線/無(wú)線)將本地?cái)?shù)據(jù)實(shí)時(shí)發(fā)送到云端,通過部署在云端的影像實(shí)時(shí)拼接與智能決策分析系統(tǒng)開展業(yè)務(wù)應(yīng)用。
在5G技術(shù)的應(yīng)用初期,本模式是5G+無(wú)人機(jī)智能應(yīng)急應(yīng)用的最佳選擇,利于快速推廣實(shí)施。本模式也是本次競(jìng)賽實(shí)際采用的工作模式。
5G網(wǎng)聯(lián)無(wú)人機(jī)地面站模式示意圖
系統(tǒng)組成
“5G+無(wú)人機(jī)智能應(yīng)急救援系統(tǒng)”主要由無(wú)人機(jī)搜索監(jiān)測(cè)系統(tǒng)、影像實(shí)時(shí)拼接系統(tǒng)和智能分析決策系統(tǒng)組成。下面重點(diǎn)對(duì)我公司研制的“無(wú)人機(jī)影像實(shí)時(shí)拼接系統(tǒng)”和“智能決策分析系統(tǒng)”進(jìn)行介紹。
無(wú)人機(jī)影像實(shí)時(shí)拼接系統(tǒng)
無(wú)人機(jī)影像實(shí)時(shí)拼接系統(tǒng)是我公司獨(dú)立研發(fā)的全國(guó)首套基于固定翼無(wú)人機(jī)的影像實(shí)時(shí)拼接軟硬件一體化產(chǎn)品,可在應(yīng)急現(xiàn)場(chǎng)提供從實(shí)時(shí)數(shù)據(jù)采集到數(shù)據(jù)處理分析的一站式解決方案,實(shí)現(xiàn)對(duì)現(xiàn)場(chǎng)態(tài)勢(shì)的實(shí)時(shí)全域感知,達(dá)到“目之所及、圖之所至”的效果。幫助用戶解決了傳統(tǒng)航測(cè)中內(nèi)外業(yè)分離、響應(yīng)周期長(zhǎng)等問題,全面提升航測(cè)作業(yè)效率,可高效應(yīng)對(duì)應(yīng)急場(chǎng)景下快速響應(yīng)、高效決策的需求。
智能分析決策系統(tǒng)
智能分析決策系統(tǒng)可自動(dòng)提取圖像中的災(zāi)情目標(biāo),快速統(tǒng)計(jì)如數(shù)量、面積等信息;同時(shí),在融合氣象、地質(zhì)等環(huán)境因素后,可輔助專家進(jìn)行快速、科學(xué)的綜合指揮調(diào)度。
外部合作
外部合作伙伴主要包括:四川傲勢(shì)科技有限公司、中國(guó)電信股份有限公司四川分公司、華為技術(shù)有限公司、中國(guó)鐵塔股份有限公司資陽(yáng)市分公司、成都新橙北斗智聯(lián)有限公司。
1、四川傲勢(shì)科技有限公司,負(fù)責(zé)“無(wú)人機(jī)搜索救援系統(tǒng)”的設(shè)計(jì)與建設(shè),具體包括無(wú)人機(jī)平臺(tái)、地面控制站、數(shù)據(jù)鏈以及多任務(wù)載荷四部分,在大系統(tǒng)中屬于感知層產(chǎn)品。
2、中國(guó)電信股份有限公司四川分公司,負(fù)責(zé)提供競(jìng)賽演示區(qū)域和演示現(xiàn)場(chǎng)所需要的5G覆蓋和網(wǎng)絡(luò)接入,保證無(wú)人機(jī)搜索救援系統(tǒng)與無(wú)人機(jī)數(shù)據(jù)處理云平臺(tái)的數(shù)據(jù)連接。
3、華為技術(shù)有限公司,負(fù)責(zé)提供華為公有云基礎(chǔ)平臺(tái):網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)、安全、虛機(jī)等公有云IaaS資源,并保證無(wú)人機(jī)影像實(shí)時(shí)拼接系統(tǒng)和智能分析決策系統(tǒng)的順利運(yùn)行。
商業(yè)變化
“5G+無(wú)人機(jī)智能應(yīng)急救援解決方案”將無(wú)人機(jī)和5G技術(shù)深度融合,結(jié)合數(shù)之聯(lián)自主研發(fā)的無(wú)人機(jī)影像實(shí)時(shí)拼接系統(tǒng),將在處理自然災(zāi)害、事故災(zāi)難以及社會(huì)安全事件等方面發(fā)揮出重要作用,為基于無(wú)人機(jī)的防災(zāi)減災(zāi)與應(yīng)急救援研究提供有效的借鑒,助力我國(guó)航空應(yīng)急救援體系發(fā)展,有效推動(dòng)“5G+無(wú)人機(jī)”防災(zāi)應(yīng)急產(chǎn)業(yè)的變革,具有巨大的產(chǎn)業(yè)價(jià)值。
傳統(tǒng)應(yīng)急航測(cè)方法與基于計(jì)算機(jī)視覺的智能處理方法比較如下表所示:
備注:表中“性能比較”的數(shù)據(jù)是基于2019年6月20日長(zhǎng)寧縣雙河鎮(zhèn)震后的無(wú)人機(jī)監(jiān)測(cè)數(shù)據(jù)測(cè)算得到的。
案例提交企業(yè)·數(shù)之聯(lián):
數(shù)之聯(lián)科技起航于2012年,由大數(shù)據(jù)行業(yè)領(lǐng)軍人物周濤領(lǐng)銜創(chuàng)立,團(tuán)隊(duì)現(xiàn)有成員220余人。多年來,數(shù)之聯(lián)致力于成為集數(shù)據(jù)、算法、應(yīng)用為一體的大數(shù)據(jù)產(chǎn)業(yè)生態(tài)構(gòu)建者,為合作伙伴提供集頂層設(shè)計(jì)、元數(shù)據(jù)治理、分析挖掘、商業(yè)智能可視化為一體的大數(shù)據(jù)全產(chǎn)業(yè)鏈服務(wù),助力企業(yè)在數(shù)字經(jīng)濟(jì)浪潮中快速轉(zhuǎn)型,贏得市場(chǎng)先機(jī)。數(shù)之聯(lián)已與多家行業(yè)標(biāo)桿企業(yè)建立長(zhǎng)期合作伙伴關(guān)系,并于2018年10月獲得鼎興量子領(lǐng)投,高捷資本、銀杏谷資本、中科科創(chuàng)基金跟投的A+輪融資,本輪融資完成后數(shù)之聯(lián)市場(chǎng)估值已逾1億美元。