一輛正常行駛的自動駕駛汽車，突然駛?cè)肓四嫘熊嚨?；胸前貼一款特殊貼紙，猶如披上隱形斗篷，在監(jiān)控系統(tǒng)中成功遁形；戴上一幅特制眼鏡，輕松騙過人臉識別系統(tǒng)后，用別人的手機(jī)也可實(shí)現(xiàn)刷臉解鎖或刷臉支付……

小心，這可能是遇上了難纏的AI病毒！

近日，清華大學(xué)人工智能研究院孵化企業(yè)推出了針對人工智能算法模型本身安全的RealSafe安全平臺，據(jù)介紹，該平臺可快速緩解對抗樣本的攻擊威脅。

人工智能感染的是什么病毒？其安全問題有哪些特點(diǎn)？人工智能時代，殺毒軟件如何修煉才能化作身懷絕技的病毒獵手？

是敵又是友 對抗樣本戴著雙重面具

RealSafe人工智能安全平臺，是針對AI在極端和對抗環(huán)境下的算法安全性檢測與加固的工具平臺，包括模型安全測評、防御解決方案兩大功能模塊。平臺內(nèi)置AI對抗攻防算法，提供從安全測評到防御加固整體解決方案。

北京理工大學(xué)計(jì)算機(jī)網(wǎng)絡(luò)及對抗技術(shù)研究所所長閆懷志接受科技日報(bào)記者采訪時表示，上述平臺目前側(cè)重于模型和算法安全性檢測與加固，可以說是人工智能算法的病毒查殺工具。

閆懷志說，針對人工智能系統(tǒng)實(shí)施對抗樣本攻擊的這類惡意代碼，常被稱為“AI病毒”。對抗樣本是指在數(shù)據(jù)集中通過故意添加細(xì)微的干擾所形成的輸入樣本，會導(dǎo)致模型以高置信度給出一個錯誤的輸出。

“其實(shí)在實(shí)驗(yàn)室中，使用對抗樣本可以檢測許多訓(xùn)練學(xué)習(xí)類人工智能方法的分類有效性，也可以利用對抗樣本來進(jìn)行對抗訓(xùn)練，以提升人工智能系統(tǒng)的分類有效性。”閆懷志告訴科技日報(bào)記者。也就是說，對抗樣本可以看成是訓(xùn)練人工智能的一種手段。

“但是在現(xiàn)實(shí)世界，攻擊者可以利用對抗樣本來實(shí)施針對AI系統(tǒng)的攻擊和惡意侵?jǐn)_，從而演變成令人頭疼的‘AI病毒’。”閆懷志表示，對抗樣本攻擊可逃避檢測，例如在生物特征識別應(yīng)用場景中，對抗樣本攻擊可欺騙基于人工智能技術(shù)的身份鑒別、活體檢測系統(tǒng)。2019年4月，比利時魯汶大學(xué)研究人員發(fā)現(xiàn)，借助一張?jiān)O(shè)計(jì)的打印圖案就可以避開人工智能視頻監(jiān)控系統(tǒng)。

在現(xiàn)實(shí)世界中，很多AI系統(tǒng)在對抗樣本攻擊面前不堪一擊。閆懷志介紹，一方面，這是由于AI系統(tǒng)重應(yīng)用、輕安全的現(xiàn)象普遍存在，很多AI系統(tǒng)根本沒有考慮對抗樣本攻擊問題；另一方面，雖然有些AI系統(tǒng)經(jīng)過了對抗訓(xùn)練，但由于對抗樣本不完備、AI算法欠成熟等諸多缺陷，在對抗樣本惡意攻擊面前，也毫無招架之力。

對訓(xùn)練數(shù)據(jù)投毒 與傳統(tǒng)網(wǎng)絡(luò)攻擊存在明顯不同

360公司董事長兼CEO周鴻祎曾表示，人工智能是大數(shù)據(jù)訓(xùn)練出來的，訓(xùn)練的數(shù)據(jù)可以被污染，也叫“數(shù)據(jù)投毒”——通過在訓(xùn)練數(shù)據(jù)里加入偽裝數(shù)據(jù)、惡意樣本等破壞數(shù)據(jù)的完整性，進(jìn)而導(dǎo)致訓(xùn)練的算法模型決策出現(xiàn)偏差。

中國信息通信研究院安全研究所發(fā)布的《人工智能數(shù)據(jù)安全白皮書（2019年）》（以下簡稱白皮書）也提到了這一點(diǎn)。白皮書指出，人工智能自身面臨的數(shù)據(jù)安全風(fēng)險(xiǎn)包括：訓(xùn)練數(shù)據(jù)污染導(dǎo)致人工智能決策錯誤；運(yùn)行階段的數(shù)據(jù)異常導(dǎo)致智能系統(tǒng)運(yùn)行錯誤（如對抗樣本攻擊）；模型竊取攻擊對算法模型的數(shù)據(jù)進(jìn)行逆向還原等。

值得警惕的是，隨著人工智能與實(shí)體經(jīng)濟(jì)深度融合，醫(yī)療、交通、金融等行業(yè)對于數(shù)據(jù)集建設(shè)的迫切需求，使得在訓(xùn)練樣本環(huán)節(jié)發(fā)動網(wǎng)絡(luò)攻擊成為最直接有效的方法，潛在危害巨大。比如在軍事領(lǐng)域，通過信息偽裝的方式可誘導(dǎo)自主性武器啟動或攻擊，帶來毀滅性風(fēng)險(xiǎn)。

白皮書還提到，人工智能算法模型主要反映的是數(shù)據(jù)關(guān)聯(lián)性和其特征統(tǒng)計(jì)，沒有真正獲取數(shù)據(jù)之間的因果關(guān)系。所以，針對算法模型這一缺陷，對抗樣本通過對數(shù)據(jù)輸入樣例，添加難以察覺的擾動，使算法模型輸出錯誤結(jié)果。

如此一來，發(fā)生文章開頭所談到的一類事故就不足為奇了。

此外，模型竊取攻擊也值得注意。由于算法模型在部署應(yīng)用中需要將公共訪問接口發(fā)布給用戶使用，攻擊者就可以通過公共訪問接口對算法模型進(jìn)行黑盒訪問，并且在沒有算法模型任何先驗(yàn)知識（訓(xùn)練數(shù)據(jù)、模型參數(shù)等）的情況下，構(gòu)造出與目標(biāo)模型相似度非常高的模型，實(shí)現(xiàn)對算法模型的竊取。

閆懷志在采訪中表示，AI安全更突出功能安全問題（safety），這通常是指人工智能系統(tǒng)被惡意數(shù)據(jù)（比如對抗樣本數(shù)據(jù)）所欺騙，從而導(dǎo)致AI輸出與預(yù)期不符乃至產(chǎn)生危害性的結(jié)果。“AI功能安全問題與傳統(tǒng)的網(wǎng)絡(luò)安全強(qiáng)調(diào)的保密性、完整性、可用性等信息安全問題（security），存在本質(zhì)不同。”

預(yù)防“中毒”困難重重 AI技術(shù)也可構(gòu)筑網(wǎng)絡(luò)安全利器

閆懷志表示，目前種種原因?qū)е铝祟A(yù)防人工智能“中毒”困難重重，原因具體表現(xiàn)在三個方面。

一是很多AI研發(fā)者和用戶并沒有意識到AI病毒的巨大風(fēng)險(xiǎn)和危害，重視并解決AI病毒問題根本無從談起；二是由于AI正處于高速發(fā)展階段，很多AI研發(fā)者和生產(chǎn)商“蘿卜快了不洗泥”，根本無暇顧及安全問題，導(dǎo)致帶有先天安全缺陷的AI系統(tǒng)大量涌入應(yīng)用市場；三是部分AI研發(fā)者和供應(yīng)商雖然意識到了AI病毒問題，但由于技術(shù)能力不足，針對該問題并無有效的解決辦法。

“當(dāng)然，網(wǎng)絡(luò)安全本來就是一個高度對抗、動態(tài)發(fā)展的領(lǐng)域，這也給殺毒軟件領(lǐng)域開辟了一個藍(lán)海市場，AI殺毒行業(yè)面臨著重大的發(fā)展機(jī)遇。”閆懷志強(qiáng)調(diào)，殺毒軟件行業(yè)首先應(yīng)該具有防范AI病毒的意識，然后在軟件技術(shù)和算法安全方面重視信息安全和功能安全問題。

“以現(xiàn)實(shí)需求為牽引，以高新技術(shù)來推動，有可能將AI病毒查殺這個嚴(yán)峻挑戰(zhàn)轉(zhuǎn)變?yōu)闅⒍拒浖袠I(yè)發(fā)展的重大契機(jī)。”閆懷志強(qiáng)調(diào)，AI技術(shù)既會帶來網(wǎng)絡(luò)安全問題，也可以賦能網(wǎng)絡(luò)安全。

一方面，人工智能的廣泛應(yīng)用帶來了許多安全風(fēng)險(xiǎn)。由技術(shù)性缺陷導(dǎo)致的AI算法安全風(fēng)險(xiǎn)，包括可導(dǎo)致AI系統(tǒng)被攻擊者控制的信息安全問題；也可導(dǎo)致AI系統(tǒng)輸出結(jié)果被攻擊者任意控制的功能安全問題。

但另一方面，人工智能技術(shù)也可以成為構(gòu)筑網(wǎng)絡(luò)空間安全的利器，這主要體現(xiàn)在主動防御、威脅分析、策略生成、態(tài)勢感知、攻防對抗等諸多方面。“包括采用人工神經(jīng)網(wǎng)絡(luò)技術(shù)來檢測入侵行為、蠕蟲病毒等安全風(fēng)險(xiǎn)源；采用專家系統(tǒng)技術(shù)進(jìn)行安全規(guī)劃、安全運(yùn)行中心管理等；此外，人工智能方法還有助于網(wǎng)絡(luò)空間安全環(huán)境的治理，比如打擊網(wǎng)絡(luò)詐騙。”閆懷志說。

中國信息通信研究院安全研究所的專家稱，為有效管控人工智能安全風(fēng)險(xiǎn)并積極促進(jìn)人工智能技術(shù)在安全領(lǐng)域應(yīng)用，可從法規(guī)政策、標(biāo)準(zhǔn)規(guī)范、技術(shù)手段、安全評估、人才隊(duì)伍、可控生態(tài)等方面構(gòu)建人工智能安全管理體系。（實(shí)習(xí)記者 代小佩）