巴黎奧運(yùn)如火如荼,商湯科技與SMT共同用AI技術(shù)助觀眾洞悉精彩。
在本屆奧運(yùn)會(huì)射箭比賽項(xiàng)目全程賽事轉(zhuǎn)播中,商湯科技與上海東方傳媒技術(shù)有限公司(SMT)再度合作,聯(lián)合打造「智慧體育-InnoMotion AI賽事轉(zhuǎn)播升級(jí)解決方案」,通過(guò)三維運(yùn)動(dòng)捕捉技術(shù)與AR特效渲染引擎,實(shí)現(xiàn)射箭賽事數(shù)據(jù)采集與可視化轉(zhuǎn)播升級(jí)。
這是AI三維動(dòng)捕技術(shù)在奧運(yùn)射箭比賽轉(zhuǎn)播中的首次應(yīng)用,從張弓搭箭,到一擊命中,做到了“百步穿楊”的精髓解密。
看射箭比賽,軌跡、落點(diǎn)是根本,指標(biāo)對(duì)比是門道
射箭運(yùn)動(dòng),既專業(yè),又趣味。
能否做到“百步穿楊”,箭矢在射出瞬間的初始狀態(tài)至關(guān)重要,十分考驗(yàn)運(yùn)動(dòng)員動(dòng)作和環(huán)境感知能力。
相信很多人在影視作品中都看到過(guò)類似場(chǎng)景,技藝超群的弓箭手每次彈指一揮,箭矢就會(huì)筆直地劃過(guò)一條優(yōu)美的拋物線飛向目標(biāo)。
但實(shí)際上,箭矢在離弦一剎那,會(huì)受到弓弦彈力影響而發(fā)生動(dòng)態(tài)彎曲,并導(dǎo)致在飛行過(guò)程中像魚(yú)一般左右擺動(dòng)。刮風(fēng)、下雨等天氣變化,也會(huì)影響箭矢的運(yùn)動(dòng)姿態(tài)。
箭矢的最終飛行軌跡,決定了能否命中靶心。
準(zhǔn)確感知風(fēng)速、精準(zhǔn)掌握力道,才能以最佳的最高點(diǎn)離地距離、速度和飛行距離這些關(guān)鍵技戰(zhàn)指標(biāo),制勝賽場(chǎng)。
這些指標(biāo)也能很好地反映一名運(yùn)動(dòng)員的水平、技術(shù)特色、發(fā)揮穩(wěn)定性,以及面對(duì)不同環(huán)境的技戰(zhàn)術(shù)靈活性。
然而,在通常轉(zhuǎn)播中觀眾只能關(guān)注到兩個(gè)重點(diǎn):其一,箭的發(fā)射時(shí)間點(diǎn)。其二,是中靶的時(shí)間點(diǎn)。中間的過(guò)程往往缺乏相應(yīng)的轉(zhuǎn)播語(yǔ)言。
AI,就是那位解讀賽場(chǎng)奧秘的“第二解說(shuō)員”,讓觀眾不僅能看到結(jié)果,更能看清過(guò)程。
AI三維運(yùn)動(dòng)捕捉全程追蹤,揭開(kāi)“百步穿楊”奧秘
做到這一點(diǎn),難點(diǎn)在哪?
捕捉目標(biāo)小、速度快:箭矢平均速度可達(dá)67米/秒,而直徑僅有5毫米不到。
箭矢飛行軌跡不平滑:飛行過(guò)程中箭體的動(dòng)態(tài)彎曲和擺動(dòng),增加了軌跡捕捉難度。
室外范圍大環(huán)境復(fù)雜:在70米 x 20米室外大場(chǎng)地舉辦的射箭比賽會(huì)面臨各種天氣狀況,視覺(jué)識(shí)別干擾大。
商湯和SMT聯(lián)合打造的「智慧體育-AI賽事轉(zhuǎn)播升級(jí)解決方案」,將難題逐一破解。
通過(guò)實(shí)時(shí)捕捉箭矢特征值,結(jié)合AI算法融合得出高精度空間3D坐標(biāo),并與SMT的AR渲染引擎對(duì)接,實(shí)現(xiàn)了多元視覺(jué)特效的精準(zhǔn)疊加,最終完成真實(shí)賽事場(chǎng)景的數(shù)字化映射。
針對(duì)小目標(biāo)跟蹤難題:通過(guò)精準(zhǔn)的設(shè)備選型及針對(duì)性算法優(yōu)化,實(shí)現(xiàn)了復(fù)雜場(chǎng)景下高速運(yùn)動(dòng)小目標(biāo)物體的檢測(cè)和跟蹤算法能力,提升箭矢檢測(cè)位置精度。
針對(duì)軌跡不平滑難題:基于捕捉圖像內(nèi)容,在算法層進(jìn)行針對(duì)性優(yōu)化,實(shí)現(xiàn)了對(duì)箭矢軌跡的平滑處理。針對(duì)場(chǎng)地范圍大、干擾多難題:提升算法泛化能力,降低晴天、陰天、雨天等天氣變化帶來(lái)的影響,使系統(tǒng)具備抗復(fù)雜環(huán)境干擾能力。
勾勒箭矢軌跡并給出詳實(shí)數(shù)據(jù),包括最高點(diǎn)離地距離、速度、飛行距離
不同箭矢落點(diǎn)偏移距離數(shù)字化特效顯示,達(dá)到了厘米級(jí)精度
數(shù)字化特效還原不同箭矢起射位置和整體軌跡
*以上視覺(jué)呈現(xiàn)效果由SMT提供
比賽期間,每一輪實(shí)時(shí)轉(zhuǎn)播畫面都呈現(xiàn)出直觀、精準(zhǔn)的數(shù)據(jù)和軌跡,收獲了現(xiàn)場(chǎng)觀眾與導(dǎo)播的高度評(píng)價(jià),"Fantastic!"
「智慧體育-AI賽事轉(zhuǎn)播升級(jí)解決方案」的應(yīng)用,為賽事方和專業(yè)觀眾提供了更精準(zhǔn)、更有故事性的分析數(shù)據(jù),同時(shí)也以直觀、沉浸的方式向大眾科普了射箭運(yùn)動(dòng)的精髓。
除射箭比賽外,商湯與SMT合作開(kāi)發(fā)的InnoMotion賽事轉(zhuǎn)播方案,也應(yīng)用于本屆奧運(yùn)會(huì)乒乓球項(xiàng)目的全程賽事轉(zhuǎn)播,以AI技術(shù)精準(zhǔn)呈現(xiàn)乒乓球的轉(zhuǎn)速、落點(diǎn)和軌跡特效。
用AI為奧運(yùn)喝彩,為中國(guó)奧運(yùn)健兒加油。商湯和SMT也將繼續(xù)深化合作,持續(xù)推動(dòng)更多體育品類賽事轉(zhuǎn)播的可視化、智慧化升級(jí),讓更具參與感的觀賽體驗(yàn),惠及更多觀眾。