京東探索研究院院長陶大程曾經(jīng)做過一個實驗:在道路交通牌上貼一個小廣告,結(jié)果無人駕駛系統(tǒng)進行了誤判,“由于缺乏可解釋性,也限制了人工智能更廣泛的應用和賦能”。這是“雙面”人工智能的一個切面:一方面,運用機器學習等人工智能技術,能夠?qū)崿F(xiàn)數(shù)據(jù)的識別保護、數(shù)據(jù)安全溯源等功能,提升了數(shù)據(jù)安全的防護能力;但另一方面,人工智能也會帶來新的安全問題,如過度采集數(shù)據(jù),甚至產(chǎn)生算法歧視、“數(shù)據(jù)投毒”等。新技術安全問題再受熱議,如何讓人工智能更可信?眾多專家學者不約而同地關注到這個問題,指出人工智能在數(shù)據(jù)和網(wǎng)絡安全中不可忽視的一面。
新型安全問題不容忽視
盡管我國已經(jīng)躋身于世界人工智能的第一方陣,但是在人工智能發(fā)展與安全方面,依然面臨嚴峻的考驗。全國政協(xié)社會和法制委員會副主任陳智敏指出,數(shù)字信息的過度采集和非法使用,可能侵犯公民的權利和隱私;算法的偏好可能加劇社會的偏見或歧視,威脅公平正義。信息被竊取、盜賣,則可能引發(fā)更嚴重的刑事犯罪。他列舉了一組數(shù)據(jù):當前我國電信詐騙案件處在高發(fā)期,在一些地方已經(jīng)占了所有刑事案件的一半以上,超過傳統(tǒng)的盜竊案件?!皺C器深度學習難以理解人性的道德,比如說,無人駕駛汽車緊急避險等智能決策可能威脅特定人群的生命。”他說。算力、算法、數(shù)據(jù),是人工智能三要素,人工智能也引起了新型數(shù)據(jù)安全的問題。國家工業(yè)信息安全發(fā)展研究中心副主任何小龍指出,人工智能的算法對數(shù)據(jù)具有較強的依賴性,可能會帶來“數(shù)據(jù)投毒”等類似新型的數(shù)據(jù)安全挑戰(zhàn)。所謂數(shù)據(jù)投毒,指的是在訓練數(shù)據(jù)其中加入了偽裝數(shù)據(jù)或者惡意樣本,破壞數(shù)據(jù)完整性,造成算法模型結(jié)果的錯誤。“比如說原來微軟的聊天機器人Tay就發(fā)布過歧視性和攻擊性言論而被關閉,主要原因就是在對話數(shù)據(jù)集里面被惡意增加了不當?shù)臄?shù)據(jù)?!焙涡↓堈f。其次是樣本偏差問題?;诨A數(shù)據(jù)集多樣性和代表性不足,會導致人工智能的算法隱藏特定性的社會價值傾向或偏見,輸出不公平結(jié)果。越來越多的開源框架也引發(fā)了新的風險,“比如在一項目針對主流開源架構(gòu)的安全測試,我們在短短時間內(nèi)發(fā)現(xiàn)了24個安全問題,其中包括2個嚴重危險漏洞和8個高危漏洞。”何小龍說?!笆聦嵣?,人工智能應用當中帶來了很多風險,包括自身的算力、算法帶來的脆弱性,也包括人工智能在應用中的魯棒性(異常和危險情況下系統(tǒng)生存的能力)、可解釋性、公平性問題。這些新技術在和原有業(yè)務相結(jié)合時,可能會給原業(yè)務或者系統(tǒng)帶來巨大的系統(tǒng)性風險。”上海市委網(wǎng)信辦總工程師楊海軍說。
如何為人工智能“定責”
“當人類把思考、控制甚至決策外包給了算法,人工智能首先要做的事情就是如何證明自己是值得信賴的?!敝袊磐ㄔ涸朴嬎闩c大數(shù)據(jù)研究所所長何寶宏說,值得信任的人工智能已成為全球的共識。那么,什么樣的人工智能才是可信的?不同的機構(gòu)對此有不同的理解,根據(jù)IEEE(電氣與電子工程師協(xié)會)提出“透明性”,以正確的方式使用技術,以人為本明確責任、造福人類;歐盟則提出魯棒性、安全性、人類的監(jiān)督和干預、明確責任等等。2017年底,何積豐院士在香山科學會議上在國內(nèi)首次提出了“可信人工智能”概念。
目前,世界各國不約而同地廣泛關注可信人工智能。陶大程介紹,它匯聚成了四個主要的性能,從四個方面度量這個可信,一是穩(wěn)定性,即人工智能系統(tǒng)在抵抗惡意攻擊或者是環(huán)境噪聲并且做出正確決策的能力;二是可解釋性,就是人工智能系統(tǒng)做決策的過程中,需要用人能夠理解的方式解釋是怎么做這些事情的;三是隱私保護,即人工智能系統(tǒng)不會把個人的隱私信息或者群體的隱私信息對外泄露;四是公平性,就是系統(tǒng)需要公平公正,正確對待所有的用戶,無論是針對大眾用戶還是小眾用戶,男人還是女人。而針對自動駕駛事故這一復雜事件,也可以按照這個邏輯不斷拆解:系統(tǒng)出現(xiàn)問題,需要知道為什么,誰來承擔責任,并以怎樣的方式承擔等等,都需要有明確的指標,度量可信人工智能。
上海交通大學約翰·霍普克羅夫特計算機科學中心副教授張拳石就介紹,如果自動駕駛汽車發(fā)生撞人事件,首先在確定責任之前,要先知道系統(tǒng)的真實原因,可能20%的原因為了避讓另外兩個人,還有10%的原因可能涉及時間檢測算法模塊的失誤,界定清楚了內(nèi)在的機理原因,再給法官判斷。螞蟻集團副總裁、首席AI科學家漆遠談到,人工智能的公平性表現(xiàn)在多個地方,比如一個很重要的社會問題事關普惠性,即技術的包容性、服務平等性。他舉了一個例子:驗證碼本來是為了提升安全,但它本身會導致視障人群不能使用,于是支付寶開發(fā)空中手勢;用人工智能技術進行舊物分類回收,能夠識別哪一類舊衣服哪一類回收得多,給用戶更多的能量進行螞蟻種樹,螞蟻集團也承諾將在2030年實現(xiàn)凈零排放。
加強可信AI技術攻關
應對人工智能安全挑戰(zhàn),各國都在積極采取措施。在我國,從頂層設計來看,最新頒布的《數(shù)據(jù)安全法》,將于9月1日開始正式實施,它為規(guī)范數(shù)據(jù)處理活動、保障數(shù)據(jù)安全提供法律依據(jù)。此外,相關部門面對人工智能的重要領域也提出了詳細的管理規(guī)定和管理框架,提出了針對性的數(shù)據(jù)管理的要求。如今年3月份,中國人民銀行印發(fā)《人工智能算法金融應用評價規(guī)范》;2021年4月,工業(yè)和信息化部《智能網(wǎng)聯(lián)汽車生產(chǎn)企業(yè)及產(chǎn)品準入管理指南(試行)》,對各個領域人工智能安全的保護提出了相關的要求。
目前,可信AI技術已在反欺詐、反洗錢、反賭博、企業(yè)聯(lián)合風控、數(shù)據(jù)隱私保護等多個風控場景下落地。何小龍建議,推動開展可信人工智能前沿算法攻關,圍繞人工智能在不同場景應用,制定相關行業(yè)規(guī)范和技術標準。圍繞數(shù)據(jù)安全,涌現(xiàn)出了諸如微眾銀行、深圳星云Clustar、洞見科技等一批隱私計算服務企業(yè)?!半[私計算等技術賦能可信AI,可促進數(shù)據(jù)價值可信流動?!憋会丝萍级麻L兼CTO王爽說??尚臕I并非一成不變。陶大程就提到,正如手機的出現(xiàn),一開始大家都覺得它很便捷,但后來又發(fā)現(xiàn)手機占用了我們太多的時間。類似的,可信技術也會隨時間和空間的變化而變化。