運(yùn)用在交通領(lǐng)域的視頻監(jiān)控系統(tǒng)是較為高端的,往高畫質(zhì)和智能化發(fā)展已成為共識(shí)。作為最重要且最基本的一種智能化應(yīng)用,車牌識(shí)別(LPR)解決方案的需求大而強(qiáng)烈。傳統(tǒng)上,基于DSP和(x86)PC的LPR方案對(duì)大多數(shù)的監(jiān)控設(shè)備設(shè)備商而言,其開發(fā)時(shí)間會(huì)較長、成本較高,安裝上較復(fù)雜嚴(yán)格。
最新基于SoC芯片的LPR方案,則可利用ARM芯片的通用處理能力,結(jié)合專門的程序優(yōu)化,研發(fā)出安裝方便和性能可靠的道路交通監(jiān)控?cái)z影機(jī),以及相關(guān)影像監(jiān)控設(shè)備,能降低制作成本,便于廠商大規(guī)模生產(chǎn)。
用技術(shù)響應(yīng)LPR需求
LPR功能在交通安防工程中,是必要存在且有急迫需求的。據(jù)2012年的數(shù)據(jù)顯示,中國市場(chǎng)全新部署超過了2萬支交通監(jiān)控攝像機(jī),而臺(tái)灣也有超過2千支。此外,數(shù)據(jù)也顯示交通監(jiān)控更為發(fā)達(dá)的美國和英國,其城市道路上使用的監(jiān)控?cái)z像機(jī)密度,大致在每0.7KM~1.2KM一支。若以此為標(biāo)準(zhǔn)來推估,中國地區(qū)未來每年增加的交通監(jiān)控?cái)z像機(jī)數(shù)量,可穩(wěn)定在30,000到50,000支之間;臺(tái)灣則是在4,000支左右。如果將用于停車場(chǎng)、小區(qū)、廠區(qū)出入口的安裝需求也算進(jìn)來,數(shù)量會(huì)更加可觀。
現(xiàn)今可行的LPR算法解決方案,必須滿足以下四個(gè)特點(diǎn):
性能穩(wěn)定。必須能在絕大部分環(huán)境下提供正確穩(wěn)定的輸出,LPR業(yè)界通行標(biāo)準(zhǔn),要求全牌識(shí)別正確率不低于99%,全字符準(zhǔn)確率不低于97%。
界面方便。這樣的特性,使設(shè)備廠商能夠盡其可能開發(fā)不同特色的上層應(yīng)用,滿足各類終端需求。LPR的上層包括建構(gòu)車輛搜索、使用分析等程序,現(xiàn)今交通監(jiān)控常見的各種衍生應(yīng)用。為了達(dá)到開發(fā)上的方便性,必須要讓下層的算法提供較為高檔和完全的接口功能;在數(shù)據(jù)輸出上,充分考慮不同的上層應(yīng)用,提供容易改造的基礎(chǔ)。
降低整合困難度。也就是降低具備LPR的設(shè)備產(chǎn)品本身開發(fā)難度,可以大大加快產(chǎn)品推出的速度,及時(shí)響應(yīng)市場(chǎng)需求。
占用較低的處理器資源。如果LPR稍復(fù)雜而對(duì)CPU的要求提高,將會(huì)實(shí)際削弱算法的部署能力,影響設(shè)備的其他菜單現(xiàn)。
一些根基于ARM的新興LPR程序如何運(yùn)作,并且能符合上述的幾項(xiàng)必備特點(diǎn),讓我們透過以下的交通監(jiān)控測(cè)試為例來分析說明(測(cè)試樣本為20,000張臺(tái)灣交通監(jiān)控圖面和1,000小時(shí)錄像)。 典型的SoC芯片級(jí)LPR解決方案,是基于通用的ARM將一個(gè)完整的車牌識(shí)別應(yīng)用功能實(shí)現(xiàn)分為兩個(gè)部分:被硬化的基礎(chǔ)操作數(shù)IVE(智能影像引擎),以及上層功能實(shí)現(xiàn)。其核心程序模塊包括:車輛檢測(cè)和跟蹤、車牌檢測(cè)、字符分割,字符識(shí)別和規(guī)則輸出。下面予以逐一說明。
從車體到車牌到數(shù)字
車輛檢測(cè)和跟蹤:將畫面中的車輛從背景中分割出來并予以跟蹤,從而明確每一輛需要進(jìn)行車牌檢測(cè)的車輛實(shí)體。要解決由于光照的變化、背景混亂運(yùn)動(dòng)的干擾、運(yùn)動(dòng)目標(biāo)的影子、攝像機(jī)的抖動(dòng)以及車輛目標(biāo)的自遮擋和互遮擋等影響。內(nèi)建ARM的SoC其LPR可達(dá)到“后向”和“前向”兩種位移模式的分別處理。在這個(gè)階段,車輛檢測(cè)率效果已可達(dá)到99.6%的水平,而重復(fù)率低于0.2%。
車牌檢測(cè):車牌檢測(cè)是最重要的LPR環(huán)節(jié),其后的辨識(shí)效果,與此部分?jǐn)?shù)據(jù)提取正確率的歸一相關(guān)系數(shù),是所有環(huán)節(jié)中最大的。在有車燈、尾燈、柵格等干擾圖像的影響下,準(zhǔn)確提取車牌并將其邊緣準(zhǔn)確切割是算法的重要能力。支持SoC的LPR已能使用邊沿檢測(cè)、正負(fù)線檢測(cè)、旋轉(zhuǎn)糾偏、角點(diǎn)檢測(cè)等手段,使得車牌邊沿的切割移位率,降低到3%的極值,為下一步的分析提供了可靠的數(shù)據(jù)源。
字元分割:要將需要辨識(shí)的字符目標(biāo)從車牌中擷取出來??紤]到車牌種類的不同,這一步驟實(shí)際要求算法對(duì)不同種類的車牌自動(dòng)適應(yīng)并提取。以臺(tái)灣車牌為例,舊式車牌中存在的4、5、6位數(shù)的車牌,以及新式車牌的7位數(shù)標(biāo)準(zhǔn)車牌,就需要算法自動(dòng)判別篩選和擷取。此外,摩托車和大型車車牌長寬比上的較大區(qū)別,也是LPR技術(shù)必須解決的問題。典型支持ARM的LPR解決方案是基于內(nèi)部字符角點(diǎn)的聚合特征,和字符間留白的線特征,自動(dòng)制表符區(qū)域予以提取。當(dāng)前擷取的正確率可達(dá)99.4%~99.8%之間。
字符識(shí)別:不同地區(qū)和國家的車牌字符字體不一。據(jù)了解,內(nèi)建ARM的SoC其LPR方案當(dāng)前可支持的字符包括26個(gè)英文大寫字母、10個(gè)阿拉伯?dāng)?shù)字,和中國地區(qū)72個(gè)車牌類屬標(biāo)記字;擁有巨量的車牌庫是這一環(huán)節(jié)準(zhǔn)確率的保證。例如市面找得到有IMP-LPR所采用的是經(jīng)典的圖像增強(qiáng)加SVM模式進(jìn)行識(shí)別,對(duì)特殊易混淆的字符,采用專門的分析算法予以針對(duì)性的區(qū)分,甚至特殊采用逆向金字塔方法,提取每一個(gè)字符的識(shí)別結(jié)果概率。透過這些方式產(chǎn)生的首選答案輸出結(jié)果,正確率穩(wěn)定在98%以上。
規(guī)則輸出:不同國家和地區(qū)的車牌,其制式上字符位置和可選范圍具有明確的定義,能用以提高整體車牌的準(zhǔn)確率。以臺(tái)灣新7位車牌為例,利用前3后4的結(jié)構(gòu),可以明確將識(shí)別結(jié)果中,首選答案中不符車牌制式規(guī)則的錯(cuò)誤糾正過來。SoC的LPR方案也可考慮這一實(shí)際有效的方式,在程序架構(gòu)上,允許外部依據(jù)車牌制式的概率,制定糾錯(cuò)輸出的規(guī)則。采用這樣的規(guī)則,能成功使其在臺(tái)灣的車牌辨識(shí)率提升0.6%~0.8%。
運(yùn)算資源耗用的影響
LPR程序?qū)oC資源消耗的高低,很大程度上決定了該方案實(shí)際整合入設(shè)備的難度和可行性(如表1)。理想的LPR能將整個(gè)程序依內(nèi)聚性和復(fù)雜度,分拆為不同的操作數(shù)模塊,提取耗用資源多且邏輯清晰的作為操作數(shù)加速的對(duì)象,利用SoC廠家提供的IVE操作數(shù)能力,大幅度提高整體性能。
除了分拆成不同運(yùn)算模塊,適應(yīng)SoC內(nèi)核的特性;有些發(fā)展較為齊備的LPR解決方案中,能支持多種的交通場(chǎng)景。包括道路監(jiān)控、車載監(jiān)控、停車場(chǎng)監(jiān)控、路邊監(jiān)控。不同場(chǎng)景使用不同的車輛檢測(cè)和車牌提取算法邏輯。
SoC結(jié)構(gòu)與LPR解決方案
當(dāng)前主流的安防S o C,不論是Amba re l l a、Gr a i n Media、HiSilicon、Sony和TI等,都包含了影像輸入、編碼、譯碼、網(wǎng)絡(luò)傳輸?shù)戎饕δ?。在資源分配上,均包含主控CPU(ARM)、協(xié)處理器、高速緩存(Cache Memory)等,以及LPR性能關(guān)系最大的,主要是CPU和高速緩存。以海思Hi3516芯片為例,其包含一個(gè)標(biāo)準(zhǔn)頻率440M的ARM A9處理器,以及16KB第一層快取(L1 Cache)和256KB第二層快取(L2 Cache)。
整合LPR過程中,設(shè)備系統(tǒng)基礎(chǔ)功能占用的CPU是一個(gè)重要的限制條件。為了保證整個(gè)設(shè)備的正常工作,一般我們要求可供LPR使用的CPU資源不超過40%,極端情況下,可以到60%;LPR程序和系統(tǒng)主程序一起駐存在系統(tǒng)flash中,當(dāng)系統(tǒng)啟動(dòng)時(shí),LPR接到調(diào)用命令而啟動(dòng)分析。在整合設(shè)計(jì)的過程中,獲取影像是基本要求之一。通常LPR要求獲取分辨率不低于CIF的圖,像進(jìn)行處理。標(biāo)準(zhǔn)接口上獲取YUV數(shù)據(jù)比獲取編碼的影像訊號(hào),更能提高處理效率,減輕算法負(fù)荷。
至于輸出端,LPR的結(jié)果是交由上層應(yīng)用軟件接續(xù)處理,包括必要的顯示和關(guān)聯(lián)動(dòng)作控制。一個(gè)理想的LPR程序,可簡化開發(fā)車牌辨識(shí)設(shè)備的難度。設(shè)備商開發(fā)應(yīng)用的重心放在需要偵測(cè)的交通事件規(guī)則與邏輯上,而不必關(guān)心底層車牌識(shí)別的性能與實(shí)現(xiàn)過程,從而大大提高了產(chǎn)品應(yīng)用的豐富性和針對(duì)性。
如果同時(shí)能提供上層通用的應(yīng)用功能模塊整合,進(jìn)一步加快設(shè)備配置智能功能的開發(fā)速度,就能降低開發(fā)成本。此外,用戶也可以進(jìn)行自定義的規(guī)則分析,在降低用戶開發(fā)難度,縮短產(chǎn)品開發(fā)周期的同時(shí),增加了功能開發(fā)的靈活性,使得產(chǎn)品形態(tài)更加多樣化、專業(yè)化。