文/浙江大華技術股份有限公司產(chǎn)品經(jīng)理 王運金     責任編輯/蘇雪冰

　　云計算技術以大系統(tǒng)、大數(shù)據(jù)為最顯著的特征，而安防行業(yè)是一個非常典型的大數(shù)據(jù)應用場景，安防行業(yè)中的卡口監(jiān)控系統(tǒng)、視頻監(jiān)控系統(tǒng)由大量的設備組成（包括大量的前端采集設備、后端平臺和云計算服務器集群等），每天產(chǎn)生呈幾何級增長的數(shù)據(jù)，隨著智慧城市大型項目的不斷成功落地，整個安防平臺呈現(xiàn)出數(shù)據(jù)量超大、數(shù)據(jù)類型多樣、數(shù)據(jù)處理邏輯復雜、數(shù)據(jù)清洗、數(shù)據(jù)共享、數(shù)據(jù)挖掘難度高等處理難題，對安防廠商提出了巨大的挑戰(zhàn)。其中主要表現(xiàn)在智能交通行業(yè)領域中海量的交通流信息和卡口過車抓拍圖片、智慧城市行業(yè)領域中的海量視頻錄像文件等非結構化數(shù)據(jù)，安防行業(yè)的主要用戶公安、交警都有著需要對海量圖片和視頻文件進行安全有效的數(shù)據(jù)存儲、高性能并行計算、智能化的數(shù)據(jù)分析挖掘后進行實戰(zhàn)方面的強烈需求，這些都與云計算特性非常吻合。提供海量存儲的同時，如何快速有效的定位多維度數(shù)據(jù)，挖掘出各類孤島數(shù)據(jù)在多維度的潛在關聯(lián)關系，一直是我們致力于解決的問題。云計算、大數(shù)據(jù)等技術正在慢慢滲入安防行業(yè)，隨著這些技術的發(fā)展成熟，將對安防行業(yè)帶來革命性的影響。

　　大規(guī)?；旌嫌嬎慵夹g

　　監(jiān)控系統(tǒng)產(chǎn)生的大量視頻圖像數(shù)據(jù)如果只靠人工來進行處理，效率會非常低，借助于視頻智能化處理算法，已經(jīng)可以從視頻圖像數(shù)據(jù)中獲取一些簡單的特征進行比對，或者進行模式匹配產(chǎn)生報警事件，提高了處理的效率。這種方式能夠處理的數(shù)據(jù)量，數(shù)據(jù)組合的程度，數(shù)據(jù)的類型等等都還處于較低的水平，無法應對海量數(shù)據(jù)和日益增長的需求。大規(guī)模計算技術的目的就是為了提供一種統(tǒng)一的數(shù)據(jù)處理平臺，上面可以集成各種智能化算法和計算模型，綜合處理海量監(jiān)控數(shù)據(jù)，以更快的速度得到更有價值的數(shù)據(jù)。

　    統(tǒng)一資源管理技術

　　監(jiān)控系統(tǒng)產(chǎn)生的主要數(shù)據(jù)就是視頻和圖像數(shù)據(jù)，原始數(shù)據(jù)經(jīng)過處理后，會產(chǎn)生更豐富的數(shù)據(jù)，處理的方式也會有很大不同。比如對于歷史視頻數(shù)據(jù)可以在后臺處理的視頻數(shù)據(jù)檢索，對于卡口的車牌和人臉特征數(shù)據(jù)需要實時布控，對歷史卡口信息需要做到實時檢索。這些數(shù)據(jù)都需要不同的計算框架進行處理，通過引入統(tǒng)一的資源管理平臺，可以在同一個資源池里運行不同的計算框架，大幅提高資源的利用率，同時在資源被某種業(yè)務獨占時，又能最大限度的發(fā)揮系統(tǒng)的性能。

　　 實時檢索技術

　　傳統(tǒng)的結構化數(shù)據(jù)都采用關系型數(shù)據(jù)庫進行保存，通過RAC等技術形成數(shù)據(jù)庫集群，通過索引方式進行加速，但是核心還是基于行存儲和關系運算，面對海量記錄時在各個方面都已經(jīng)遇到了瓶頸。實時檢索技術通過引入分布式數(shù)據(jù)庫，列式存儲，內(nèi)存計算，索引引擎等技術，能應對100億級別的結構化數(shù)據(jù)，在存儲容量，可擴展性，檢索速度等多個方面都可以得到大幅提升。該系統(tǒng)在智能交通、刑事偵查等視頻監(jiān)控領域具備重要的研究價值和廣闊的應用前景。

　　 復雜事件處理技術

　　隨著安防行業(yè)的發(fā)展，業(yè)務變的也來越復雜，比如智能交通領域，出現(xiàn)了車輛積分研判、套牌車分析、同行車分析等需求。這些需求存在產(chǎn)生結果所依賴的條件多、處理過程實時性的要求高、需要處理的數(shù)據(jù)量巨大等特點。

　　傳統(tǒng)的方式是采用關系數(shù)據(jù)庫，通過復雜的SQL語句組合，不斷查詢比對的方式，很難滿足實時性的要求。復雜事件處理通過引入流式計算等技術，動態(tài)地對輸入數(shù)據(jù)進行實時的分析，處理速度可以大幅提供。不符合條件的數(shù)據(jù)都被丟棄掉，系統(tǒng)中只存在處理的結果或者可能有用的中間數(shù)據(jù)，這樣對存儲的要求也變小了，完全在內(nèi)存中進行全過程的分析，實時性得到了保證。

　　 人臉檢索技術

　　人臉檢索的技術在單臺服務器上的應用已經(jīng)比較成熟，可以應用在身份鑒別、在逃人員抓捕、可疑人員排查、身份證查重等領域。人臉檢測過程可以分為以下幾個階段：視頻或圖像解碼、人臉檢測、特征提取、特征比對，前三個步驟都是每次請求對應一次計算，計算量相對可控，而最后一個步驟特征比每次請求則需要和達億級的人臉特征進行比對，是運算量最大的一個階段。

　　一些實時應用的請求數(shù)每秒鐘可達請求數(shù)達到數(shù)百次，每次人臉比對次數(shù)可達百萬級別時，則整個系統(tǒng)需要支持每秒億級的人臉特征比對計算。如此大規(guī)模的計算，單機上是無法完成的，必須采用集群完成。特征庫本身規(guī)模不大，但是比對次數(shù)很大，屬于典型的計算密集型集群，特征庫可以全部倒入到內(nèi)存，在內(nèi)存中完成計算。

　　 海量視頻檢索技術

　　圖像傳感器采集到的視頻數(shù)據(jù)保存到后端存儲后，用戶可以隨時選擇目標區(qū)域的多個攝像頭，提交給視頻檢索集群，檢索集群按照目標物體的特征快速檢索的所有對應攝像頭產(chǎn)生視頻數(shù)據(jù)，找到目標物體特征所出現(xiàn)的視頻，并定位到準確的時間點。其中主要使用了智能化技術實現(xiàn)視頻數(shù)據(jù)到物體特征結構化數(shù)據(jù)的轉換，支持車輛顏色，車牌，衣著顏色，人臉等特征。基于統(tǒng)一的計算資源池，實現(xiàn)智能化算法的并行運算，線性提高檢索效率。

　　結構化之后的數(shù)據(jù)可以保存到數(shù)據(jù)庫，下次檢索可以直接通過結構化數(shù)據(jù)進行二次檢索，大幅提高檢索效率。

　　分布式對象存儲技術

　　安防云在系統(tǒng)架構和設計上，充分考慮大規(guī)模集群環(huán)境下軟硬件發(fā)生故障的現(xiàn)實，采用先進的管理思想和軟件系統(tǒng)，實現(xiàn)對大量普通存儲服務器存儲空間資源進行虛擬化整合，實現(xiàn)軟硬件故障高度容錯，搭建高度穩(wěn)定可靠的存儲集群。

　　系統(tǒng)將控制流與數(shù)據(jù)流分離，以及充分優(yōu)化元數(shù)據(jù)節(jié)點控制系統(tǒng)，使得系統(tǒng)具備極高的性能和良好的線性擴展能力。系統(tǒng)整體為應用提供統(tǒng)一命名空間，使得系統(tǒng)具備極好的數(shù)據(jù)共享能力。系統(tǒng)將負載均衡到集群內(nèi)的各節(jié)點上，充分利用集群各節(jié)點性能，以獲得很好的性能聚合能力以保證系統(tǒng)的穩(wěn)定。集群采用高度靈活自組網(wǎng)技術，提供簡易部署和維護功能。系統(tǒng)在數(shù)據(jù)可靠方面，采用智能冗余重建技術，保證較高磁盤利用率的前提下，提供最佳冗余策略。另外，系統(tǒng)在節(jié)點軟硬件故障容錯方面，也進行充分考慮，具備屏蔽所有可屏蔽錯誤能力。

　　 快速文件索引技術

　　云存儲系統(tǒng)可以支持上億級的文件，同時還需要支持上千個用戶同時訪問。這么大規(guī)模的元數(shù)據(jù)和并發(fā)訪問量，采用傳統(tǒng)的內(nèi)存加磁盤多級存儲，以及多級索引方式，尋址的開銷將非常大，直接影響到系統(tǒng)的可用性。

　　為了提高系統(tǒng)的響應速度，云存儲采用粗粒度的管理方式，以64M作為典型的塊大小進行索引，大幅減小元數(shù)據(jù)的數(shù)量，即使如此，系統(tǒng)的元數(shù)據(jù)規(guī)模還是會達到GB級別?；谶@種情況，系統(tǒng)采用全內(nèi)存態(tài)的元數(shù)據(jù)訪問模式，可以將文件尋址時間降到毫秒級別。

　　為了保證元數(shù)據(jù)的可靠性，需要對元數(shù)據(jù)的訪問做日志記錄，并定期將元數(shù)據(jù)持久化到硬盤。

　　 負載自動均衡技術

　　采用中心服務器模式來管理整個云存儲文件系統(tǒng)，所有元數(shù)據(jù)均保存在元數(shù)據(jù)服務器上，文件則被按塊劃分存儲在不同的數(shù)據(jù)節(jié)點上。

　　元數(shù)據(jù)維護了統(tǒng)一的命名空間，同時掌握整個系統(tǒng)內(nèi)數(shù)據(jù)節(jié)點的使用情況，當客戶端向元數(shù)據(jù)服務器發(fā)送數(shù)據(jù)讀寫的請求時，元數(shù)據(jù)服務器根據(jù)數(shù)據(jù)節(jié)點的磁盤使用情況、網(wǎng)絡負擔等情況，選擇負擔最輕的節(jié)點服務器對外提供服務，自動調(diào)節(jié)集群的負載狀態(tài)。

　　數(shù)據(jù)節(jié)點內(nèi)同時有提供磁盤級的負載均衡，根據(jù)磁盤的IO負載，空間容量等情況，自動選擇負載最輕的磁盤存儲新的數(shù)據(jù)文件。

　　當有一個數(shù)據(jù)節(jié)點因為機器故障或者其他原因造成離線時，元數(shù)據(jù)服務器會將此機器自動屏蔽掉，不再將此數(shù)據(jù)節(jié)點提供給客戶端使用，同時存儲在此數(shù)據(jù)節(jié)點上的數(shù)據(jù)也會自動恢復到其他可用的節(jié)點服務器上，自動屏蔽數(shù)據(jù)單節(jié)點故障對系統(tǒng)的影響。

　　另外對故障的數(shù)據(jù)節(jié)點上的數(shù)據(jù)快速恢復，只需將數(shù)據(jù)節(jié)點上的硬盤拔出，插入到其他數(shù)據(jù)節(jié)點，這樣即減少集群對數(shù)據(jù)恢復的壓力，又不對客戶端讀寫產(chǎn)生影響。

　　 高速并發(fā)訪問技術

　　客戶端在訪問云存儲時，首先訪問元數(shù)據(jù)服務器，獲取將要與之進行交互的數(shù)據(jù)節(jié)點信息，然后直接訪問這些數(shù)據(jù)節(jié)點完成數(shù)據(jù)存取。

　　客戶端與元數(shù)據(jù)服務器之間只有控制流，而無數(shù)據(jù)流，這樣就極大地降低了元數(shù)據(jù)服務器的負載，使之不成為系統(tǒng)性能的一個瓶頸?？蛻舳伺c數(shù)據(jù)節(jié)點之間直接傳輸數(shù)據(jù)流，同時由于文件被分成多個節(jié)點進行分布式存儲，客戶端可以同時訪問多個節(jié)點服務器，從而使得整個系統(tǒng)的I/O高度并行，系統(tǒng)整體性能得到提高。

　　通常情況下，系統(tǒng)的整體吞吐率與節(jié)點服務器的數(shù)量呈正比。

　　 高可靠性保證技術

　　對于元數(shù)據(jù)，通過操作日志來提供容錯功能。主服務器本地SSD盤組建高可靠RAID1，提供高可靠容錯能力。當元數(shù)據(jù)服務器發(fā)生故障時，在磁盤數(shù)據(jù)保存完好的情況下，可以迅速恢復以上元數(shù)據(jù)。且操作日志在主備元數(shù)據(jù)服務器之間實時同步，實現(xiàn)更高程度的可靠性。

　　對于節(jié)點服務器，采用Erasure Code冗余方式實現(xiàn)容錯，數(shù)據(jù)冗余分布存儲在不同的數(shù)據(jù)節(jié)點上。任一數(shù)據(jù)節(jié)點的損壞，不會導致任何數(shù)據(jù)丟失，不會影響任何的數(shù)據(jù)訪問和寫入過程。之后，通過靈活數(shù)據(jù)恢復機制，進行數(shù)據(jù)重建過程。集群規(guī)模越大，恢復速度越快。

　　 高可用技術

　　系統(tǒng)中的所有服務節(jié)點均是通過網(wǎng)絡連接在一起，由于采用了高可靠的容錯機制，系統(tǒng)增減節(jié)點不必停止服務，可在線增減存儲節(jié)點。

　　元數(shù)據(jù)服務器采用主備雙機熱備技術，主機故障，備機自動接替其工作，對外服務不停止;存儲節(jié)點可采用Erasure code冗余備份機制，如采用4+1節(jié)點間冗余容錯，任意損失一個節(jié)點，數(shù)據(jù)不丟失，服務不停止，客戶端無感知。