火熱之外，為什么人工智能很容易上當受騙？
騙子是世界上最古老、最具創(chuàng)新性的職業(yè)之一，它可能很快就會有一個新的目標。研究表明，人工智能可能會很容易受到騙子影響，而且隨著它在現(xiàn)代世界中的影響力不斷增長，針對它的攻擊可能會變得越來越普遍。
問題的根源在于，人工智能算法能以與人類極為不同的方式來了解這個世界，因此，對這些算法數(shù)據(jù)的細微調(diào)整就可能令其徹底報廢，但對人類來說卻沒什么影響。
該領(lǐng)域的很多研究都是在圖像識別系統(tǒng)上進行的，特別是那些依賴于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的系統(tǒng)。通過向這些系統(tǒng)展示數(shù)千個特定物體的圖像來訓(xùn)練它們，直到它們能夠提取出這些圖像共同的特征，從而能夠在一群新圖像中識別這一物體。
但他們提取的特征不一定是人類想要的那種高級特征，例如示意牌上的停止字樣，或是狗身上的尾巴。這些系統(tǒng)分析單個像素級別的圖像，以檢測它們之間共有的模式。這些模式可以是像素值的模糊組合，人類不可能識別出來，但在預(yù)測一個特定的物體時卻非常準確。
這意味著，通過識別這些模式，并將它們應(yīng)用到不同的圖像上，攻擊者可以令對象識別算法上當，讓它看到一些實際上不存在的東西，而這些東西對人類來說也不太明顯。這種操縱被稱為敵對攻擊。
早期嘗試以這種方式欺騙圖像識別系統(tǒng)時，需要有權(quán)限訪問算法的內(nèi)部工作機制來破譯這些模式。但在2016年，研究人員展示了一種黑匣子式的攻擊模式，使系統(tǒng)能夠在不知道其內(nèi)部工作原理的情況下受騙。
通過給系統(tǒng)輸入篡改過的圖像，并觀察它的分類方式，他們能夠計算出系統(tǒng)所關(guān)注的內(nèi)容，從而生成一些可以欺騙系統(tǒng)的圖像。重要的是，這些被篡改過的圖像在人眼看來也沒有明顯的不同。
對這些方法的測試通過直接在算法中輸入經(jīng)過修改的圖像數(shù)據(jù)來進行的，但在最近，類似的方法已經(jīng)在現(xiàn)實世界中得到了應(yīng)用。去年，有研究顯示，將修改過的圖像用智能手機拍下來后，成功地騙過了圖像分類系統(tǒng)。
另一組研究表明，戴著特殊設(shè)計的、能讓人產(chǎn)生錯覺的眼鏡會讓面部識別系統(tǒng)誤以為某些人是明星。今年8月，科學(xué)家們發(fā)現(xiàn)，在特定配置中添加標簽來阻止信號出現(xiàn)，可能會導(dǎo)致人們設(shè)計出一個新的神經(jīng)網(wǎng)絡(luò)，以便對這些信號進行識別及分類。
最后兩個例子強調(diào)了這項技術(shù)的一些潛在的灰色應(yīng)用。讓自動駕駛汽車錯過停車標志可能會引發(fā)事故。如果面部識別技術(shù)在生物識別安全應(yīng)用中變得越來越流行，那么對騙子來說就很有必要學(xué)會如何假裝成他人。
意料之中的是，人們已經(jīng)采取了一些措施來抵御敵對攻擊的威脅。特別是研究已表明，深層神經(jīng)網(wǎng)絡(luò)可以被訓(xùn)練來探測上述提到的假圖像。根據(jù)博世研究中心的一項研究提出了探測器的策略，敵對攻擊可以騙過探測器，而探測器的訓(xùn)練機智能讓攻擊失效，未來可能會出現(xiàn)相應(yīng)的軍備競賽。
雖然圖像識別系統(tǒng)的受騙過程可以作為簡單直觀的演示，但它們并不是唯一存在風(fēng)險的機器學(xué)習(xí)系統(tǒng)。用于擾亂像素數(shù)據(jù)的技術(shù)也可以應(yīng)用于其他類型的數(shù)據(jù)。
中國研究人員發(fā)現(xiàn)，在句子中加入特定的詞語或拼錯一個單詞，www.whsntf.cn，可以完全干擾到那些用于分析文本的機器學(xué)習(xí)系統(tǒng)。另一組實驗表明，在揚聲器中播放的聲音失真，可以令運行谷歌Now語音指令系統(tǒng)的智能手機去訪問特定的網(wǎng)址，下載惡意軟件。
最后一個例子是一個更令人擔(dān)憂的應(yīng)用，或許也是近期會發(fā)生的：繞過網(wǎng)絡(luò)安全防御。該行業(yè)正越來越多地使用機器學(xué)習(xí)和數(shù)據(jù)分析來識別惡意軟件及其入侵，但這些系統(tǒng)也非常容易受騙。
在今年夏天的黑客大會上，庫卡機器人何服電機維修，一家安全公司演示了他們?nèi)绾卫@過反惡意軟件的人工智能，其方法與黑匣子攻擊圖像分類器的方法類似，但使用的是自己的人工智能系統(tǒng)。
他們的系統(tǒng)會將惡意代碼輸入到反病毒軟件中，然后記下系統(tǒng)給出的分數(shù)。然后，它用遺傳算法反復(fù)修改代碼，直到能夠繞過防御，同時保持其功能。
目前為止所提到的所有方法都集中在對預(yù)先訓(xùn)練的機器學(xué)習(xí)系統(tǒng)進行欺騙，但網(wǎng)絡(luò)安全行業(yè)的另一個主要關(guān)注點是數(shù)據(jù)中毒。這一觀點認為，將錯誤數(shù)據(jù)引入機器學(xué)習(xí)系統(tǒng)的訓(xùn)練集將導(dǎo)致它開始對事物進行錯誤分類。
這對于反惡意軟件系統(tǒng)來說尤其具有挑戰(zhàn)性，這些系統(tǒng)會不斷更新，以納入新的病毒數(shù)據(jù)。一種相關(guān)的方法用數(shù)據(jù)對系統(tǒng)進行了轟炸，這些數(shù)據(jù)被設(shè)計用來做出錯誤判定，這樣一來，防御者將能夠重新調(diào)整自己的系統(tǒng)，攻擊者就可以進入了。
這些方法在自然狀況下能夠被使用的可能性有多大，取決于潛在的回報以及攻擊者的熟練程度。上面描述的大多數(shù)技術(shù)都需要高水平的專業(yè)知識，但獲取培訓(xùn)材料和機器學(xué)習(xí)工具卻變得越來越容易。
多年來，簡單版本的機器學(xué)習(xí)一直是垃圾郵件過濾器的核心技術(shù)，KUKA機器人電路板維修，而垃圾郵件發(fā)送者們已經(jīng)開發(fā)出了一系列的創(chuàng)新解決方案來繞過它們。隨著機器學(xué)習(xí)和人工智能越來越多地融入我們的生活，欺騙它們的回報很可能會超出成本。