文/周明耀 海康威視圖像處理與分析部

　　大數(shù)據(jù)技術(shù)正在逐漸成為人們茶余飯后的必談話題，它為各行各業(yè)提供了日新月異的變化思路。國內(nèi)外產(chǎn)業(yè)界、學術(shù)界和政府機構(gòu)正在以最快速度，大力推動大數(shù)據(jù)技術(shù)的反戰(zhàn)，比較有代表性的是制造業(yè)、服務業(yè)、金融業(yè)、互聯(lián)網(wǎng)、交通、醫(yī)療等諸多領域使用大數(shù)據(jù)技術(shù)的研究和發(fā)展，海康威視為代表的安防企業(yè)也在智慧城市、平安城市、民用領域等快速布局大數(shù)據(jù)理念、技術(shù)、產(chǎn)品。通過3年時間的積累，大數(shù)據(jù)時代真正來臨了。

　　一、大數(shù)據(jù)介紹

　　大數(shù)據(jù)(Big Data)目前已經(jīng)成為IT領域最為流行的詞匯，其實它并不是一個全新的概念。早在1980年，著名未來學家阿爾文.托夫勒在《第三次浪潮》一書中，明確提出“數(shù)據(jù)就是財富”這一觀點，并將大數(shù)據(jù)熱情地贊頌為“第三次浪潮的華彩樂章”。

　　2001年，知名咨詢公司Gartner的資深分析師Douglas Laney發(fā)表了一篇名為“3D Data Management：Controlling Data Volume, Velocity, and Variety”的文章，指出大數(shù)據(jù)管理面臨三個V的挑戰(zhàn)：數(shù)據(jù)量、數(shù)據(jù)多樣性、高速。“3V”后來成為大數(shù)據(jù)公認的三個基本特征。

　　2011年5月，麥肯錫全球研究院發(fā)表白皮書，指出企業(yè)正在面臨海量的交易數(shù)據(jù)、顧客信息、供貨商信息和運營數(shù)據(jù)等，需要對這些數(shù)據(jù)進行管理與挖掘。在物聯(lián)網(wǎng)環(huán)境下，傳感器、智能手機、工業(yè)設備等都在產(chǎn)生海量數(shù)據(jù)。互聯(lián)網(wǎng)中的多媒體數(shù)據(jù)量也在以指數(shù)級上升，如何處理這些數(shù)據(jù)，為用戶提供有用的信息，成為需要考慮的重要問題。

　　2012年2月11日，紐約時報發(fā)表《The Age of Big Data》，向大眾宣傳大數(shù)據(jù)時代的到來。

　　2012年3月22日，奧巴馬宣布2億美元投資大數(shù)據(jù)領域，在次日的電話會議上，美國政府將數(shù)據(jù)定義為“未來的新石油”，美國政府認識到一個國家擁有數(shù)據(jù)的規(guī)模、活性及解釋運用的能力將成為綜合國力的重要組成部分，未來對數(shù)據(jù)的占有和控制甚至將成為繼陸權(quán)、海權(quán)、空權(quán)之外的另一種國家核心資產(chǎn)。

　　2012年7月10日，聯(lián)合國在紐約總部發(fā)布了一份大數(shù)據(jù)政務白皮書，總結(jié)了各國政府如何利用大數(shù)據(jù)更好地服務和保護人民。

　　二、大數(shù)據(jù)研究內(nèi)容及現(xiàn)狀

　　2012年冬季，來自谷歌、IBM、微軟、MIT、斯坦福、伯克利、UIUC等產(chǎn)業(yè)界和學術(shù)界的數(shù)據(jù)庫領域?qū)＜彝ㄟ^在線的方式共同發(fā)布了一個關(guān)于大數(shù)據(jù)的白皮書，該白皮書指出大數(shù)據(jù)面臨著5個主要問題，分別是異構(gòu)型、規(guī)模、時間性、復雜性和隱私性。白皮書指出現(xiàn)有的工作對數(shù)據(jù)的隱私性和易用性方面考慮不周。另外，大數(shù)據(jù)的分析包含多個步驟，目前的研究大多關(guān)注數(shù)據(jù)建模和分析，而對其他階段考慮不夠。即使是在數(shù)據(jù)分析階段，目前的研究仍然沒有很好地理解數(shù)據(jù)建模與分析在多租戶集群環(huán)境下的復雜性，在該環(huán)境中，多個用戶程序會并發(fā)執(zhí)行。為了應對上述挑戰(zhàn)，白皮書建議采用現(xiàn)有成熟技術(shù)解決大數(shù)據(jù)帶來的挑戰(zhàn)。

　　大數(shù)據(jù)處理過程大致分為數(shù)據(jù)獲取/記錄、信息抽取/清洗/注記、數(shù)據(jù)集成/聚集/表現(xiàn)、數(shù)據(jù)分析/建模和數(shù)據(jù)解釋5個主要階段，貫穿所有節(jié)點，系統(tǒng)需要考慮數(shù)據(jù)的異構(gòu)型、規(guī)模、時間性、隱私性和人機協(xié)作等方面的因素。在每一個階段，都面臨著各自的研究問題與挑戰(zhàn)。

　　1. 數(shù)據(jù)獲取和記錄階段的主要問題是如何利用在線處理技術(shù)對原始數(shù)據(jù)進行智能化處理，自動生成正確的元數(shù)據(jù)，過濾不需要的數(shù)據(jù)，而不需要存儲后再進行過濾。該階段可能的研究方向包括數(shù)據(jù)壓縮技術(shù)、在線數(shù)據(jù)分析技術(shù)、實時數(shù)據(jù)流分析技術(shù)、元數(shù)據(jù)自動獲取技術(shù)和相關(guān)系統(tǒng);

　　2. 信息抽取和清洗階段的主要問題是數(shù)據(jù)多樣性、數(shù)據(jù)真?zhèn)涡浴３槿〉膶ο罂赡馨瑘D像、視頻等具有復雜結(jié)構(gòu)的數(shù)據(jù)，而且該過程通常是與應用高度相關(guān)的。除此以外，由于監(jiān)控攝像頭、裝載有GPS的智能手機、相機和其他便攜設備無處不在，豐富的、高保真度的位置和軌跡數(shù)據(jù)也可以被收集于處理。數(shù)據(jù)清洗的現(xiàn)有工作通常假設數(shù)據(jù)是真實有效的，這些假設在大數(shù)據(jù)領域不再正確;

　　3. 數(shù)據(jù)集成、聚集和表現(xiàn)階段由于大量異構(gòu)數(shù)據(jù)的存在，大數(shù)據(jù)處理不能只對數(shù)據(jù)進行記錄，然后就將其存入存儲中。對大規(guī)模數(shù)據(jù)進行有效分析需要以自動化的方式對數(shù)據(jù)進行定位、識別、理解和引用。為了實現(xiàn)該目標，需要研究數(shù)據(jù)結(jié)構(gòu)和語義的統(tǒng)一描述方式與智能理解技術(shù)，實現(xiàn)機器自動處理，從這一角度看，對數(shù)據(jù)結(jié)構(gòu)與數(shù)據(jù)的設計也顯得尤為重要;

　　4. 查詢處理、數(shù)據(jù)建模和分析階段頻繁模式和相關(guān)分析得到的一般筒機數(shù)據(jù)通常強于具有波動性的個體數(shù)據(jù)，此外互聯(lián)的大數(shù)據(jù)可形成大型異構(gòu)的信息網(wǎng)絡，可以發(fā)現(xiàn)隱藏的關(guān)系和模式。大數(shù)據(jù)使下一代的交互式數(shù)據(jù)分析實現(xiàn)實時解答，需要在TB級別上的可伸縮復雜交互查詢技術(shù)的進一步研究與落地?，F(xiàn)有的數(shù)據(jù)處理方式是前述的交互式復雜處理過程的一個障礙，需要研究并實現(xiàn)將聲明性查詢語言與數(shù)據(jù)挖掘、數(shù)據(jù)統(tǒng)計包有機整合在一起的數(shù)據(jù)分析系統(tǒng);

　　5. 數(shù)據(jù)解釋階段應該支持用戶不斷提供附加資料，解釋這種結(jié)果是如何產(chǎn)生的。這種附加資料稱之為數(shù)據(jù)的出處。通過研究如何最好地捕獲、存儲和查詢數(shù)據(jù)出處，同時配合相關(guān)技術(shù)捕獲足夠的元數(shù)據(jù)，就可以創(chuàng)建一個基礎設施，為用戶提供解釋分析結(jié)果，重復分析不同假設、參數(shù)和數(shù)據(jù)集的能力。

　　目前國內(nèi)外的學術(shù)界主要研究方式是與政府、大公司共同成立針對大數(shù)據(jù)研究實驗室，主要針對大數(shù)據(jù)在計算平臺、可伸縮的算法、機器學習和理解、隱私和安全等多個方面的科學問題與解決方案。學術(shù)界與專業(yè)機構(gòu)的結(jié)合有利于業(yè)界大數(shù)據(jù)產(chǎn)品的落地，例如通過定期組織生物學、醫(yī)學、計算機等方面專家就大數(shù)據(jù)問題研討，可以跨科學地研究和探討大數(shù)據(jù)問題，為生物醫(yī)學專業(yè)的相關(guān)研究工作提供大數(shù)據(jù)支持。

　　谷歌作為全球技術(shù)領先企業(yè)，一直在致力于大數(shù)據(jù)技術(shù)的推動工作，通過不斷開源已有系統(tǒng)、發(fā)布未來技術(shù)相關(guān)論文的方式，在機器學習、數(shù)據(jù)挖掘、數(shù)據(jù)分析等領域做出了杰出的貢獻。

　　三、大數(shù)據(jù)的應用領域

　　全球著名咨詢公司麥肯錫對醫(yī)療保健、零售、公共領域、制造、個人位置數(shù)據(jù)等5個領域進行了重點分析，提出了可以利用“大數(shù)據(jù)”的5種方法。

　　1. 以時效性更高的方式向用戶提供“大數(shù)據(jù)”。在公共領域，跨部門提供“大數(shù)據(jù)”能大幅減少檢索與處理時間。在制造業(yè)，集成來自研發(fā)、工程、制造單元的數(shù)據(jù)可以實現(xiàn)并行工程，縮短產(chǎn)品投放市場的時間。

　　2. 通過展開數(shù)據(jù)分析和實驗尋找變化因素并改善產(chǎn)品性能。由于越來越多的交易數(shù)據(jù)都以數(shù)字形式存在，各機構(gòu)可以收集有關(guān)產(chǎn)品或用戶的更加精確和詳盡的數(shù)據(jù)。

　　3. 區(qū)分用戶群，提供個性化服務。“大數(shù)據(jù)”能幫助機構(gòu)對用戶群進行更加細化的區(qū)分，并針對用戶的不同需求提供更加個性化的服務。這是營銷和危機管理方面常用的方法，但也可以為公共領域等帶來變革。

　　4. 利用自動化算法支持或替代人工決策。復雜分析能極大改善決策效果，降低風險，并挖掘出其他方法無法實現(xiàn)的寶貴信息。此類復雜分析可用于稅務機構(gòu)、零售商等。

　　5. 商業(yè)模式、產(chǎn)品與服務創(chuàng)新。制造商正在利用產(chǎn)品使用過程中獲得的數(shù)據(jù)來改善下一代產(chǎn)品開發(fā)，以及提供創(chuàng)新性售后服務。實時位置數(shù)據(jù)的興起帶來了一系列基于位置的移動服務，例如導航和人物跟蹤。

　　目前已經(jīng)逐漸落地的應用模式主要集中在金融業(yè)、制造業(yè)、服務業(yè)、交通行業(yè)、醫(yī)療行業(yè)及互聯(lián)網(wǎng)行業(yè)。

　　四、安防大數(shù)據(jù)

　　今后幾年平安城市將不斷向智慧城市靠攏，智慧城市中必須實現(xiàn)的是數(shù)據(jù)的共享，跨區(qū)域視頻監(jiān)控聯(lián)網(wǎng)、監(jiān)控資源整合與共享，政府各部門之間的視頻監(jiān)控資源的共享等等。近幾年平安城市、智能交通、智能建筑等行業(yè)的快速發(fā)展，大集成、大聯(lián)網(wǎng)推動安防行業(yè)進入大數(shù)據(jù)時代。面對大數(shù)據(jù)的存儲、管理、分析，出現(xiàn)了一系列問題：首先是PB級數(shù)據(jù)的存儲管理問題，這個問題目前主要通過分布式存儲方案來解決;其次是海量視頻數(shù)據(jù)中的有價值數(shù)據(jù)如何挖掘問題，這些問題都是安防行業(yè)需要使用大數(shù)據(jù)理念和相關(guān)技術(shù)去解決的。

　　視頻云存儲采用分布式存儲技術(shù)，能夠提供海量視頻、圖片的存儲，具備高容量、高帶寬、高可靠、高擴展等特性;交通卡口大數(shù)據(jù)處理平臺主要應用于智能交通中，存儲和處理海量的交通卡口過車數(shù)據(jù)，能夠針對海量過車數(shù)據(jù)提供快速檢索、智能研判、統(tǒng)計分析等服務，具體包括車輛軌跡研判、車輛誘導、車流量統(tǒng)計、車輛信息查詢等服務;視頻圖像信息數(shù)據(jù)庫主要應用于公安行業(yè)中，能夠存儲和處理案事件信息、卡口過車信息，針對海量數(shù)據(jù)能夠提供高效的數(shù)據(jù)處理服務，包括全文檢索等。

中小型項目更應該選擇中小型廠商嗎?

重慶成中國“堵城” 智能交通華而不實