隨著電子技術(shù)的進(jìn)一步發(fā)展,電子寵物逐漸走入人們的家庭生活中,目前市面上相對成熟的電子寵物主要有兩大類:一類是生活在電子設(shè)備中的虛擬寵物,沒有任何的機(jī)械結(jié)構(gòu),純粹通過電子設(shè)備與之進(jìn)行交互;另一類是具有一定機(jī)械機(jī)構(gòu)的電子寵物,具有觸覺等功能,但由于其與逼真寵物外形想像的特性,交互方式也相對缺乏。
如今感知計算技術(shù)大為盛行,它重新定義了人與設(shè)備的溝通方式,通過更適合人類的溝通方式比如語言、表情、動作等,讓設(shè)備感知人類的意圖,智能分析人類的行為。
我們的作品,就是基于這一熱門技術(shù),將感知計算應(yīng)用到電子寵物身上,充分利用了感知計算的先進(jìn)特性,實現(xiàn)了一個通過手勢、表情、語言與使用者進(jìn)行感性互動的智能型電子寵物。具有如此豐富、生動交互方式的電子寵物,無疑會給使用者帶來全新的體驗??梢韵胂?,一個比真實寵物更加方便、衛(wèi)生、更加懂主人意思的智能電子寵物,無疑會引起廣大寵物愛好者的極大興趣,成為我們現(xiàn)代化家庭的重要一員。
2 關(guān)鍵技術(shù)
2.1 視覺處理程序
我們的項目采用的是Intel Creative Senz3D攝像頭,Creative Senz3D是Intel公司為感知計算技術(shù)開發(fā)的3D景深攝像頭。我們用3D攝像頭作為寵物的眼睛,是整個系統(tǒng)最核心的部分,實現(xiàn)與周圍環(huán)境的交互,支持人臉識別,表情識別和手勢識別。我們借用了配套的Intel perceptual computing SDK中提供的一些表情識別、手勢識別、人臉識別等模塊,用線程來分別管理。當(dāng)3D攝像頭捕捉到圖像數(shù)據(jù)后會分析然后開啟線程執(zhí)行上述三個模塊中的一個,然后把識別結(jié)果返回給服務(wù)器,讓服務(wù)器完成接下去的工作。
2.2 服務(wù)器
我們把服務(wù)器放在了Baytrail開發(fā)板上。服務(wù)器作為與每個子模塊溝通的橋梁,它的主要作用是一個數(shù)據(jù)中樞,它接收攝像頭的識別結(jié)果,然后根據(jù)情況選擇通過socket發(fā)送給手機(jī),或用串口發(fā)送給Arduino開發(fā)板,協(xié)調(diào)各個部分的工作。同時,服務(wù)器要求具有一定的魯棒性,它需要能夠檢測各個部分是否正常工作并進(jìn)行糾正。
2.3 Android移動應(yīng)用
手機(jī)APP顯示的是寵物的臉,它承載的是寵物向用戶做出表情以及聲音的輸出,它會根據(jù)服務(wù)器發(fā)來的指令變換自己的表情,與用戶所做的表情同步,與用戶進(jìn)行交互,同時用戶做的表情會對寵物自身的心情值產(chǎn)生影響,當(dāng)心情值足夠高時,即使沒有外界刺激,寵物也會做出開心的表情。這一部分的主要實現(xiàn)方式是Android套接字(Socket)編程和異步消息處理機(jī)制,實現(xiàn)與服務(wù)器Baytrail開發(fā)板的通信,接收服務(wù)器發(fā)來的控制命令并返回反饋數(shù)據(jù)。表情切換用Android活動的切換來實現(xiàn),表情顯示用Android Canvas類進(jìn)行圖片播放來實現(xiàn)。
2.4 離線語音識別
本文引用地址:http://www.eepw.com.cn/article/266052.htm
語音識別主要模仿寵物的聽力,當(dāng)寵物識別出一些命令詞時會產(chǎn)生一些回應(yīng)動作。比如聽到“過來”,寵物會原地轉(zhuǎn)動直到3D攝像頭找到用戶的臉,然后通過識別臉部的景深位置逐漸靠近用戶和修正行進(jìn)方向,最后到達(dá)用戶面前。當(dāng)聽到“跳舞”時,寵物跟隨著用戶的手勢“翩翩起舞”。這一部分的實現(xiàn)方式是使用了科大訊飛語音識別引擎,結(jié)合Android應(yīng)用的控件,完成語音的錄音、識別和命令發(fā)送的過程,豐富了交互方式。
2.5 機(jī)械結(jié)構(gòu)
因為機(jī)械臂等結(jié)構(gòu)的實現(xiàn)比較復(fù)雜,所以我們用了一個Arduino小車來作為電子寵物的“腿”,用小車的各種前后左右運(yùn)動模擬寵物的動作。Arduino小車的控制主要通過編程實現(xiàn),電路板產(chǎn)生四路PWM方波輸出,控制電機(jī)的前后轉(zhuǎn)動,使得小車做出各種運(yùn)動。Arduino小車與服務(wù)器的通信采用串口實現(xiàn)。
3 應(yīng)用前景
隨著近幾年移動智能技術(shù)的發(fā)展,我們開始步入智能化,生活中,智能手機(jī)和個人電腦已經(jīng)成了人們離不開的幫手,其它的諸如智能冰箱等智能家居系統(tǒng)也給人們的生活帶來了很大便利。那么,在家庭寵物娛樂方面是否也能做到智能化呢?答案是肯定的,我們的電子寵物就實現(xiàn)了這一想法。電子寵物市場前景廣闊,相比于傳統(tǒng)寵物,電子寵物不必主人精心呵護(hù),而且更加干凈衛(wèi)生,便于照料,許多商家也推出了自己的電子寵物,例如第一代的電子雞,第二代的任天堂的任天狗,Sony的AIBO,但是都或多或少存在缺陷。相比于同類產(chǎn)品,我們的電子寵物更加智能,克服了前幾代產(chǎn)品的缺點(diǎn),集成了視覺交互、語音交互、移動便攜三大創(chuàng)新點(diǎn)和優(yōu)勢,更加真切地模擬寵物的功能。
此外,當(dāng)今社會的人們生活壓力陡增,結(jié)束了一天的工作后往往難以釋放內(nèi)心的壓抑,而養(yǎng)一只真實的寵物卻難以照料它,這時,試想一下,當(dāng)我們結(jié)束了一天的工作回到家時,我們的電子寵物會主動跑到跟前打招呼,送上一個微笑,我們可以控制電子寵物的動作,與寵物進(jìn)行一場放松的舞蹈,我們還能與寵物進(jìn)行表情交流,它甚至能夠看懂你的表情,在你失落傷心時送上安慰??傊?,豐富的交互方式使得我們的電子寵物能給與主人精神的寄托,它比真實的寵物更加“懂事”。
當(dāng)然,本項目還有尚待改進(jìn)的部分,比如物體識別算法方面還需優(yōu)化,比如適當(dāng)?shù)卦黾訖C(jī)械裝置,還能使寵物更加靈活,或許我們的寵物還能替人干家務(wù),實現(xiàn)端茶送水掃地等功能。這些都需要我們團(tuán)隊繼續(xù)努力,將我們的項目朝著智能化、市場化方向推進(jìn)。
參考文獻(xiàn):
[1]電子寵物.百度百科[R/OL].((2014-03-15). http://baike.baidu.com/view/249197.htm
[2]陳婉菁.電子寵物市場機(jī)會與挑戰(zhàn)[J].玩具世界,2008(07):43-45
[3]鄔大鵬.基于視覺的手勢識別及人機(jī)交互研究[D].南京航空航天大學(xué),2010
[4]莊浩洋.3D人機(jī)交互中的骨架提取和動態(tài)手勢識別[D].電子科技大學(xué),2013
[5] Michael J. Black, Yaser Yacoob. Recognizing Facial Expressions in Image Sequences Using Local Parameterized Models of Image Motion [J]. International Journal of Computer Vision. 1997 (1)
[6] Ira Cohen, Nicu Sebe, Ashutosh Garg, Lawrence S. Chen, Thomas S. Huang. Facial expression recognition from video sequences: temporal and static modeling [J]. Computer Vision and Image Understanding. 2003 (1)
[7]劉洲洲. 基于遺傳算法的足球機(jī)器人路徑規(guī)劃[J].電子產(chǎn)品世界, 2013(2)
[8]鄧聰,游向,東羅遷,等. 一種移動視頻監(jiān)控及定位系統(tǒng)的設(shè)計[J].電子產(chǎn)品世界, 2014(1)