文/張展 博康智能網(wǎng)絡(luò)科技股份有限公司PBU總監(jiān)
安防監(jiān)控發(fā)展至今,視頻監(jiān)控作為一種廣泛使用的技術(shù)防范手段,在城市社會(huì)治安綜合防控體系中發(fā)揮著重要作用,隨著視頻監(jiān)控逐步由標(biāo)清向高清發(fā)展,畫(huà)質(zhì)的提高使得視頻監(jiān)控中捕獲到的細(xì)節(jié)內(nèi)容也越來(lái)越豐富,利用智能視頻分析,在海量的視頻監(jiān)控?cái)?shù)據(jù)中檢索感興趣目標(biāo)成為可能,智能分析快速、準(zhǔn)確的檢索無(wú)疑大大提高了視頻檢索的效率。
常用的智能視頻分析有哪些
常用的智能視頻分析廣義上主要分為:行為分析類(lèi)、事件檢測(cè)類(lèi)、特征識(shí)別類(lèi)、圖像處理類(lèi)。
行為分析類(lèi),從監(jiān)控視頻中檢測(cè)出目標(biāo),并判斷目標(biāo)運(yùn)動(dòng)行為,也包括目標(biāo)計(jì)數(shù)。
事件檢測(cè)類(lèi),主要應(yīng)用于交通行業(yè),從監(jiān)控視頻中檢測(cè)出車(chē)輛目標(biāo)和行人目標(biāo),并對(duì)目標(biāo)事件進(jìn)行判斷,形成一系列交通事件,如擁堵分析、車(chē)輛逆行、行人出現(xiàn)、行人橫穿等。
特征識(shí)別類(lèi),從監(jiān)控視頻中檢測(cè)出目標(biāo),并對(duì)目標(biāo)進(jìn)行分析識(shí)別,包括車(chē)輛特征識(shí)別(車(chē)牌、車(chē)標(biāo)、車(chē)身顏色、車(chē)輛子品牌等)、人臉識(shí)別等。
圖像處理類(lèi),主要是針對(duì)一些模糊不清圖像進(jìn)行優(yōu)化處理,以增加視頻的可監(jiān)控性能。
行為分析類(lèi)
通過(guò)場(chǎng)景中背景和目標(biāo)分離,并追蹤在視頻場(chǎng)景中出現(xiàn)的目標(biāo),用戶(hù)可以通過(guò)不同場(chǎng)景中設(shè)置不同的報(bào)警規(guī)則,一旦目標(biāo)在場(chǎng)景中出現(xiàn)了違反預(yù)先定義的規(guī)則,智能識(shí)別系統(tǒng)會(huì)自動(dòng)發(fā)出預(yù)警,工作人員根據(jù)報(bào)警提示進(jìn)行相關(guān)處置措施。行為分析主要廣泛應(yīng)用于公共安全相關(guān)領(lǐng)域,如監(jiān)所、銀行等重點(diǎn)場(chǎng)所。行為分析效果和室外監(jiān)控場(chǎng)景關(guān)系非常大,受到光線(xiàn)和其它干擾影響比較大,如晚上效果比白天差,光線(xiàn)、陰影、樹(shù)葉晃動(dòng)等情況都會(huì)影響使用效果,因此,行為分析應(yīng)用應(yīng)該充分了解應(yīng)用場(chǎng)景和環(huán)境條件情況下使用合適的行為分析功能。
行為分析應(yīng)用上可分為周界防范預(yù)警、可疑行為預(yù)警、目標(biāo)計(jì)數(shù)。
周界防范預(yù)警:用于檢測(cè)視頻監(jiān)控區(qū)域出現(xiàn)的單向/雙向跨線(xiàn)越界、區(qū)域闖入、區(qū)域離開(kāi)等行為事件。該功能以連續(xù)的視頻幀為處理數(shù)據(jù),提取目標(biāo)特征,分析其運(yùn)動(dòng)行為,從而實(shí)現(xiàn)多種應(yīng)用功能。周界防范預(yù)警主要應(yīng)用于一些重點(diǎn)場(chǎng)所的安全防范,如監(jiān)獄周界、工廠周界、金庫(kù)等,利用周界防范預(yù)警功能可以把監(jiān)控工作人員從繁重的純?nèi)斯けO(jiān)控方式轉(zhuǎn)變?yōu)橹悄茴A(yù)警方式,監(jiān)控工作人員只需要監(jiān)看實(shí)時(shí)報(bào)警畫(huà)面即可。
可疑行為預(yù)警:分析打架斗毆、區(qū)域徘徊、遺留物品、物品移動(dòng)等可疑行為,從而實(shí)現(xiàn)及時(shí)預(yù)警功能??梢尚袨轭A(yù)警主要應(yīng)用于如監(jiān)所、銀行、博物館等場(chǎng)所。
目標(biāo)計(jì)數(shù):基于對(duì)運(yùn)動(dòng)目標(biāo)的智能跟蹤與識(shí)別技術(shù),通過(guò)對(duì)區(qū)域和方向的設(shè)定來(lái)統(tǒng)計(jì)通過(guò)人數(shù),以及人群流動(dòng)量、人群流動(dòng)方向的統(tǒng)計(jì)及分析數(shù)據(jù),計(jì)數(shù)主要應(yīng)用于機(jī)場(chǎng)、商城等需要了解客流情況的場(chǎng)所。
事件檢測(cè)類(lèi)
視頻檢測(cè)常采用多目標(biāo)識(shí)別與多目標(biāo)跟蹤技術(shù),可對(duì)視頻圖像中的所有目標(biāo)進(jìn)行檢測(cè)、鎖定、跟蹤,精確描述其運(yùn)動(dòng)軌跡,準(zhǔn)確測(cè)量其位移量,從而實(shí)現(xiàn)各類(lèi)交通事件檢測(cè)。事件檢測(cè)主要應(yīng)用于交通行業(yè),主要功能見(jiàn)表1.
表1 交通行業(yè)事件檢測(cè)主要功能
特征識(shí)別類(lèi)
特征識(shí)別首先需要對(duì)視頻/圖片中的目標(biāo)檢測(cè)分析,需要檢測(cè)出目標(biāo)類(lèi)型,再進(jìn)行比對(duì)分析,從而實(shí)現(xiàn)目標(biāo)的特征識(shí)別,目前常用的主要包括人臉識(shí)別、車(chē)輛特征識(shí)別。
車(chē)輛特征識(shí)別
車(chē)輛特征識(shí)別是基于視頻流、圖片的分析,可以對(duì)車(chē)輛的身份進(jìn)行識(shí)別,包括車(chē)牌號(hào)碼、車(chē)身顏色、車(chē)標(biāo)、安全帶檢測(cè)、打手機(jī)檢測(cè)、夜間遮陽(yáng)板檢測(cè)、車(chē)輛子品牌及具體年款等。
基于視頻流分析的車(chē)輛特征識(shí)別廣泛應(yīng)用卡口和電子警察系統(tǒng),目前很多廠家在前端DSP相機(jī)中直接集成車(chē)輛特征識(shí)別功能,相機(jī)能直接輸出車(chē)輛特征信息,但由于DSP性能限制,一般能夠識(shí)別的車(chē)輛特征信息較后端分析方式相對(duì)有限;基于圖片分析的車(chē)輛特征識(shí)更多應(yīng)用卡口/電警圖片的二次識(shí)別中,通常采用后端分析方式,能夠?qū)崿F(xiàn)所有的車(chē)輛特征信息識(shí)別,二次識(shí)別系統(tǒng)能夠?qū)σ呀ǜ鲝S商卡口/電警系統(tǒng)集中二次分析,可以實(shí)現(xiàn)糾正一次識(shí)別錯(cuò)誤,提供更多車(chē)輛特征信息,主要應(yīng)用于交警和公安行業(yè)。主要的車(chē)輛特征信息如下:
車(chē)頭特征信息:
·車(chē)牌號(hào)碼——對(duì)車(chē)牌號(hào)碼的檢測(cè)識(shí)別;
·車(chē)牌顏色——顏色可分為藍(lán)、黃、白、黑等;
·車(chē)牌類(lèi)型——軍牌、教練牌等多種類(lèi)型車(chē)牌識(shí)別;
·車(chē)身顏色——對(duì)車(chē)身顏色的檢測(cè)識(shí)別;
·車(chē)型細(xì)分——大型貨車(chē)、大型客車(chē)、中型客車(chē)、小型客車(chē)、小型貨車(chē)、兩輪車(chē)等類(lèi)型的車(chē)型細(xì)分;
·車(chē)標(biāo)粗分——主流車(chē)標(biāo)的檢測(cè)識(shí)別(如大眾、別克等);
·車(chē)輛子品牌細(xì)分——同一車(chē)標(biāo)的品牌子類(lèi)細(xì)分(例如大眾如桑塔納2006款);
·無(wú)牌車(chē)識(shí)別——對(duì)于無(wú)牌、牌照遮擋、牌照污損車(chē)輛的車(chē)身顏色、車(chē)型、車(chē)輛品牌及子品牌的識(shí)別;
·未系安全帶識(shí)別——識(shí)別主副駕駛位置人員未系安全帶;
·打手機(jī)識(shí)別——識(shí)別駕駛?cè)藛T打手機(jī);
·夜間遮陽(yáng)板——識(shí)別夜間主副駕駛位置人員遮陽(yáng)板遮擋人臉行為;
·人臉檢測(cè)——檢測(cè)出主副駕駛?cè)四槨?/p>
車(chē)尾特征信息:
·車(chē)牌號(hào)碼——對(duì)車(chē)牌號(hào)碼的檢測(cè)識(shí)別;
·車(chē)牌顏色——顏色可分為藍(lán)、黃、白、黑等;
·車(chē)牌類(lèi)型——軍牌、教練牌等多種類(lèi)型車(chē)牌識(shí)別;
·車(chē)身顏色——對(duì)車(chē)身顏色的檢測(cè)識(shí)別;
·車(chē)標(biāo)粗分——主流車(chē)標(biāo)的檢測(cè)識(shí)別(如大眾、別克等);·車(chē)輛子品牌細(xì)分——同一車(chē)標(biāo)的品牌子類(lèi)細(xì)分(例如大眾如桑塔納2006款);
·無(wú)牌車(chē)識(shí)別——對(duì)于無(wú)牌、牌照遮擋、牌照污損車(chē)輛的車(chē)身顏色、車(chē)型、車(chē)輛品牌及子品牌的識(shí)別;
·黃牌車(chē)車(chē)型細(xì)分——針對(duì)黃牌車(chē),可根據(jù)車(chē)尾特征區(qū)分集裝箱、卡車(chē)、吊車(chē)、拖車(chē)、油罐車(chē)、水泥車(chē)、大巴等。
人臉識(shí)別
人臉識(shí)別是基于視頻流、圖片的分析,主要包含了人臉檢測(cè)及人臉識(shí)別兩大部分。人臉檢測(cè)指通過(guò)一定算法分析,從圖片或視頻背景中分析并定位出人臉模型的工作;人臉識(shí)別是指將已定位出的人臉模型進(jìn)行進(jìn)一步的比對(duì)分析,從而確定人臉身份。
人臉識(shí)別一般分為基于圖片靜態(tài)比對(duì)方式和基于視頻流的動(dòng)態(tài)比對(duì)方式。靜態(tài)比對(duì)一般多應(yīng)用于人員身份識(shí)別確認(rèn),樣本圖片和人臉身份庫(kù)進(jìn)行比對(duì),以相似度方式由高到低排列出來(lái),再結(jié)合人工復(fù)核確認(rèn)人員身份,人臉身份庫(kù)通常情況非常大,地市人臉庫(kù)為百萬(wàn)級(jí),省或直轄市人臉庫(kù)為千萬(wàn)級(jí)。采用圖片采集比對(duì)能夠較好的控制光線(xiàn)和角度,效果較動(dòng)態(tài)比對(duì)要更加理想。動(dòng)態(tài)比對(duì)主要從監(jiān)控相機(jī)中檢測(cè)人臉,再和人臉庫(kù)實(shí)時(shí)比對(duì),多應(yīng)用于黑名單布控報(bào)警等應(yīng)用,動(dòng)態(tài)比對(duì)的人臉庫(kù)一般比較小(幾千~幾萬(wàn)),由于動(dòng)態(tài)方式采集到的人臉受光線(xiàn)和角度影響,比對(duì)為首位命中方式,漏報(bào)和誤報(bào)是目前階段較難解決的問(wèn)題,一般情況在室內(nèi)光線(xiàn)相對(duì)恒定,場(chǎng)景為通道型場(chǎng)所,人臉黑名單庫(kù)較小的前提下能夠?qū)崿F(xiàn)較好的應(yīng)用。
人臉識(shí)別與人體的其它生物特征(指紋、虹膜等)都具有人的身份識(shí)別,與其它類(lèi)型的生物識(shí)別比較人臉識(shí)別具有一定的特點(diǎn):
·非強(qiáng)制性,用戶(hù)不需要專(zhuān)門(mén)配合人臉采集設(shè)備,幾乎可以在無(wú)意識(shí)的狀態(tài)下就可獲取人臉圖像,這樣的取樣方式?jīng)]有“強(qiáng)制性”;
·非接觸性,用戶(hù)不需要和設(shè)備直接接觸就能獲取人臉圖像;
·并發(fā)性,在實(shí)際應(yīng)用場(chǎng)景下可以進(jìn)行多個(gè)人臉的分揀、判斷及識(shí)別;
·除此之外還具有操作簡(jiǎn)單、結(jié)果直觀、隱蔽性好等特點(diǎn)。
圖像處理類(lèi)
圖像處理主要是對(duì)各種降質(zhì)影像進(jìn)行恢復(fù)處理,改善圖像質(zhì)量,突出影像細(xì)節(jié),以輔助應(yīng)用人員更好的挖掘圖像中有用信息,如車(chē)輛牌照號(hào)、人臉細(xì)節(jié)特征等。
常見(jiàn)圖像處理主要有低照度處理、去霧處理、去抖動(dòng)處理、聚焦模糊處理、多幀超分辨等,一般對(duì)視頻錄像和圖片進(jìn)行處理,主要應(yīng)用于公安偵查、檢察機(jī)關(guān)等行業(yè)。
視頻質(zhì)量診斷分析
對(duì)監(jiān)控系統(tǒng)視頻狀況進(jìn)行巡檢,檢測(cè)監(jiān)控設(shè)備故障、質(zhì)量下降、傳輸干擾、惡意破壞監(jiān)控系統(tǒng)等情況,只檢測(cè)不做圖像處理,一般采用視頻輪巡方式處理診斷。視頻質(zhì)量診斷分析一般應(yīng)用于大型監(jiān)控系統(tǒng),為系統(tǒng)運(yùn)維提供服務(wù)。
檢測(cè)內(nèi)容包括:清晰度、亮度、對(duì)比度、色彩、噪聲、視頻干擾、凍結(jié)、抖動(dòng)、信號(hào)丟失、視頻劇變、PTZ功能、視頻遮擋。
視頻濃縮摘要
通過(guò)對(duì)歷史視頻錄像的分析,提取出其中的運(yùn)動(dòng)分量,對(duì)視頻內(nèi)容進(jìn)行整合壓縮形成摘要,并可通過(guò)摘要視頻,快速定位運(yùn)動(dòng)目標(biāo),回溯原始錄像。一段稀疏目標(biāo)的24小時(shí)監(jiān)控視頻經(jīng)過(guò)摘要處理后可能壓縮到10-30多分鐘,大大提高查閱視頻的效率。
通常情況摘要密度是能夠設(shè)置調(diào)整,視頻摘要處理可選擇同一畫(huà)面顯示的目標(biāo)個(gè)數(shù),在保證效率的同時(shí)不遺漏;具有區(qū)域過(guò)濾設(shè)置,包括關(guān)注區(qū)和屏蔽區(qū),即框選自己感興趣的區(qū)域或者不感興趣的區(qū)域進(jìn)行運(yùn)動(dòng)目標(biāo)的過(guò)濾,大大減少觀看摘要視頻的時(shí)間。雙擊運(yùn)動(dòng)目標(biāo)可即刻回溯該運(yùn)動(dòng)目標(biāo)出現(xiàn)的原始視頻,而不需要到原始視頻中手動(dòng)尋找對(duì)應(yīng)時(shí)間點(diǎn),提高了目標(biāo)搜尋效率。
以圖搜圖/以圖搜視頻方式特征比對(duì)
是利用已有樣本圖片,在選定視頻或圖片中搜索樣本圖片中的目標(biāo),一般提供多種模式的以圖搜圖/視頻:顏色方式、紋理方式和人臉?lè)绞?。以圖搜圖/以圖搜視頻方式特征比對(duì)能夠在發(fā)現(xiàn)嫌疑目標(biāo)的前提下,利用已抓拍的目標(biāo)圖像在海量視頻或圖片中快速搜索,提高了目標(biāo)搜尋效率,主要應(yīng)用公安圖像偵查。
結(jié)合應(yīng)用場(chǎng)景選用合適的智能分析
何種應(yīng)用場(chǎng)景該選用怎樣的智能分析技術(shù)呢?筆者列舉了不同應(yīng)用場(chǎng)景對(duì)智能分析功能的不同需求(如表2所示),相信這些對(duì)用戶(hù)朋友們選擇智能分析產(chǎn)品會(huì)有所幫助。
表2 不同應(yīng)用場(chǎng)景對(duì)智能分析功能的不同需求