一輛正常行駛的自動(dòng)駕駛汽車,突然駛?cè)肓四嫘熊嚨?;胸前貼一款特殊貼紙,猶如披上隱形斗篷,在監(jiān)控系統(tǒng)中成功遁形;戴上一幅特制眼鏡,輕松騙過人臉識(shí)別系統(tǒng)后,用別人的手機(jī)也可實(shí)現(xiàn)刷臉解鎖或刷臉支付……
小心,這可能是遇上了難纏的AI病毒!
近日,清華大學(xué)人工智能研究院孵化企業(yè)推出了針對(duì)人工智能算法模型本身安全的RealSafe安全平臺(tái),據(jù)介紹,該平臺(tái)可快速緩解對(duì)抗樣本的攻擊威脅。
人工智能感染的是什么病毒?其安全問題有哪些特點(diǎn)?人工智能時(shí)代,殺毒軟件如何修煉才能化作身懷絕技的病毒獵手?
是敵又是友 對(duì)抗樣本戴著雙重面具
RealSafe人工智能安全平臺(tái),是針對(duì)AI在極端和對(duì)抗環(huán)境下的算法安全性檢測(cè)與加固的工具平臺(tái),包括模型安全測(cè)評(píng)、防御解決方案兩大功能模塊。平臺(tái)內(nèi)置AI對(duì)抗攻防算法,提供從安全測(cè)評(píng)到防御加固整體解決方案。
北京理工大學(xué)計(jì)算機(jī)網(wǎng)絡(luò)及對(duì)抗技術(shù)研究所所長(zhǎng)閆懷志接受科技日?qǐng)?bào)記者采訪時(shí)表示,上述平臺(tái)目前側(cè)重于模型和算法安全性檢測(cè)與加固,可以說是人工智能算法的病毒查殺工具。
閆懷志說,針對(duì)人工智能系統(tǒng)實(shí)施對(duì)抗樣本攻擊的這類惡意代碼,常被稱為“AI病毒”。對(duì)抗樣本是指在數(shù)據(jù)集中通過故意添加細(xì)微的干擾所形成的輸入樣本,會(huì)導(dǎo)致模型以高置信度給出一個(gè)錯(cuò)誤的輸出。
“其實(shí)在實(shí)驗(yàn)室中,使用對(duì)抗樣本可以檢測(cè)許多訓(xùn)練學(xué)習(xí)類人工智能方法的分類有效性,也可以利用對(duì)抗樣本來進(jìn)行對(duì)抗訓(xùn)練,以提升人工智能系統(tǒng)的分類有效性。”閆懷志告訴科技日?qǐng)?bào)記者。也就是說,對(duì)抗樣本可以看成是訓(xùn)練人工智能的一種手段。
“但是在現(xiàn)實(shí)世界,攻擊者可以利用對(duì)抗樣本來實(shí)施針對(duì)AI系統(tǒng)的攻擊和惡意侵?jǐn)_,從而演變成令人頭疼的‘AI病毒’。”閆懷志表示,對(duì)抗樣本攻擊可逃避檢測(cè),例如在生物特征識(shí)別應(yīng)用場(chǎng)景中,對(duì)抗樣本攻擊可欺騙基于人工智能技術(shù)的身份鑒別、活體檢測(cè)系統(tǒng)。2019年4月,比利時(shí)魯汶大學(xué)研究人員發(fā)現(xiàn),借助一張?jiān)O(shè)計(jì)的打印圖案就可以避開人工智能視頻監(jiān)控系統(tǒng)。
在現(xiàn)實(shí)世界中,很多AI系統(tǒng)在對(duì)抗樣本攻擊面前不堪一擊。閆懷志介紹,一方面,這是由于AI系統(tǒng)重應(yīng)用、輕安全的現(xiàn)象普遍存在,很多AI系統(tǒng)根本沒有考慮對(duì)抗樣本攻擊問題;另一方面,雖然有些AI系統(tǒng)經(jīng)過了對(duì)抗訓(xùn)練,但由于對(duì)抗樣本不完備、AI算法欠成熟等諸多缺陷,在對(duì)抗樣本惡意攻擊面前,也毫無招架之力。
對(duì)訓(xùn)練數(shù)據(jù)投毒 與傳統(tǒng)網(wǎng)絡(luò)攻擊存在明顯不同
360公司董事長(zhǎng)兼CEO周鴻祎曾表示,人工智能是大數(shù)據(jù)訓(xùn)練出來的,訓(xùn)練的數(shù)據(jù)可以被污染,也叫“數(shù)據(jù)投毒”——通過在訓(xùn)練數(shù)據(jù)里加入偽裝數(shù)據(jù)、惡意樣本等破壞數(shù)據(jù)的完整性,進(jìn)而導(dǎo)致訓(xùn)練的算法模型決策出現(xiàn)偏差。
中國信息通信研究院安全研究所發(fā)布的《人工智能數(shù)據(jù)安全白皮書(2019年)》(以下簡(jiǎn)稱白皮書)也提到了這一點(diǎn)。白皮書指出,人工智能自身面臨的數(shù)據(jù)安全風(fēng)險(xiǎn)包括:訓(xùn)練數(shù)據(jù)污染導(dǎo)致人工智能決策錯(cuò)誤;運(yùn)行階段的數(shù)據(jù)異常導(dǎo)致智能系統(tǒng)運(yùn)行錯(cuò)誤(如對(duì)抗樣本攻擊);模型竊取攻擊對(duì)算法模型的數(shù)據(jù)進(jìn)行逆向還原等。
值得警惕的是,隨著人工智能與實(shí)體經(jīng)濟(jì)深度融合,醫(yī)療、交通、金融等行業(yè)對(duì)于數(shù)據(jù)集建設(shè)的迫切需求,使得在訓(xùn)練樣本環(huán)節(jié)發(fā)動(dòng)網(wǎng)絡(luò)攻擊成為最直接有效的方法,潛在危害巨大。比如在軍事領(lǐng)域,通過信息偽裝的方式可誘導(dǎo)自主性武器啟動(dòng)或攻擊,帶來毀滅性風(fēng)險(xiǎn)。
白皮書還提到,人工智能算法模型主要反映的是數(shù)據(jù)關(guān)聯(lián)性和其特征統(tǒng)計(jì),沒有真正獲取數(shù)據(jù)之間的因果關(guān)系。所以,針對(duì)算法模型這一缺陷,對(duì)抗樣本通過對(duì)數(shù)據(jù)輸入樣例,添加難以察覺的擾動(dòng),使算法模型輸出錯(cuò)誤結(jié)果。
如此一來,發(fā)生文章開頭所談到的一類事故就不足為奇了。
此外,模型竊取攻擊也值得注意。由于算法模型在部署應(yīng)用中需要將公共訪問接口發(fā)布給用戶使用,攻擊者就可以通過公共訪問接口對(duì)算法模型進(jìn)行黑盒訪問,并且在沒有算法模型任何先驗(yàn)知識(shí)(訓(xùn)練數(shù)據(jù)、模型參數(shù)等)的情況下,構(gòu)造出與目標(biāo)模型相似度非常高的模型,實(shí)現(xiàn)對(duì)算法模型的竊取。
閆懷志在采訪中表示,AI安全更突出功能安全問題(safety),這通常是指人工智能系統(tǒng)被惡意數(shù)據(jù)(比如對(duì)抗樣本數(shù)據(jù))所欺騙,從而導(dǎo)致AI輸出與預(yù)期不符乃至產(chǎn)生危害性的結(jié)果。“AI功能安全問題與傳統(tǒng)的網(wǎng)絡(luò)安全強(qiáng)調(diào)的保密性、完整性、可用性等信息安全問題(security),存在本質(zhì)不同。”
預(yù)防“中毒”困難重重 AI技術(shù)也可構(gòu)筑網(wǎng)絡(luò)安全利器
閆懷志表示,目前種種原因?qū)е铝祟A(yù)防人工智能“中毒”困難重重,原因具體表現(xiàn)在三個(gè)方面。
一是很多AI研發(fā)者和用戶并沒有意識(shí)到AI病毒的巨大風(fēng)險(xiǎn)和危害,重視并解決AI病毒問題根本無從談起;二是由于AI正處于高速發(fā)展階段,很多AI研發(fā)者和生產(chǎn)商“蘿卜快了不洗泥”,根本無暇顧及安全問題,導(dǎo)致帶有先天安全缺陷的AI系統(tǒng)大量涌入應(yīng)用市場(chǎng);三是部分AI研發(fā)者和供應(yīng)商雖然意識(shí)到了AI病毒問題,但由于技術(shù)能力不足,針對(duì)該問題并無有效的解決辦法。
“當(dāng)然,網(wǎng)絡(luò)安全本來就是一個(gè)高度對(duì)抗、動(dòng)態(tài)發(fā)展的領(lǐng)域,這也給殺毒軟件領(lǐng)域開辟了一個(gè)藍(lán)海市場(chǎng),AI殺毒行業(yè)面臨著重大的發(fā)展機(jī)遇。”閆懷志強(qiáng)調(diào),殺毒軟件行業(yè)首先應(yīng)該具有防范AI病毒的意識(shí),然后在軟件技術(shù)和算法安全方面重視信息安全和功能安全問題。
“以現(xiàn)實(shí)需求為牽引,以高新技術(shù)來推動(dòng),有可能將AI病毒查殺這個(gè)嚴(yán)峻挑戰(zhàn)轉(zhuǎn)變?yōu)闅⒍拒浖袠I(yè)發(fā)展的重大契機(jī)。”閆懷志強(qiáng)調(diào),AI技術(shù)既會(huì)帶來網(wǎng)絡(luò)安全問題,也可以賦能網(wǎng)絡(luò)安全。
一方面,人工智能的廣泛應(yīng)用帶來了許多安全風(fēng)險(xiǎn)。由技術(shù)性缺陷導(dǎo)致的AI算法安全風(fēng)險(xiǎn),包括可導(dǎo)致AI系統(tǒng)被攻擊者控制的信息安全問題;也可導(dǎo)致AI系統(tǒng)輸出結(jié)果被攻擊者任意控制的功能安全問題。
但另一方面,人工智能技術(shù)也可以成為構(gòu)筑網(wǎng)絡(luò)空間安全的利器,這主要體現(xiàn)在主動(dòng)防御、威脅分析、策略生成、態(tài)勢(shì)感知、攻防對(duì)抗等諸多方面。“包括采用人工神經(jīng)網(wǎng)絡(luò)技術(shù)來檢測(cè)入侵行為、蠕蟲病毒等安全風(fēng)險(xiǎn)源;采用專家系統(tǒng)技術(shù)進(jìn)行安全規(guī)劃、安全運(yùn)行中心管理等;此外,人工智能方法還有助于網(wǎng)絡(luò)空間安全環(huán)境的治理,比如打擊網(wǎng)絡(luò)詐騙。”閆懷志說。
中國信息通信研究院安全研究所的專家稱,為有效管控人工智能安全風(fēng)險(xiǎn)并積極促進(jìn)人工智能技術(shù)在安全領(lǐng)域應(yīng)用,可從法規(guī)政策、標(biāo)準(zhǔn)規(guī)范、技術(shù)手段、安全評(píng)估、人才隊(duì)伍、可控生態(tài)等方面構(gòu)建人工智能安全管理體系。(實(shí)習(xí)記者 代小佩)
已有0人發(fā)表了評(píng)論