您的位置：首頁 >新聞 > 熱點(diǎn)新聞 >
為什么神經(jīng)網(wǎng)絡(luò)會(huì)把烏龜識(shí)別成步槍？
人工智能的快速發(fā)展的確值得欣喜，但快速發(fā)展的背后還有各種不完善的地方。比如，前不久麻省理工學(xué)院的一些學(xué)生，利用3D打印出來的烏龜，成功地讓谷歌的InceptionV3圖像分類器認(rèn)為其是一個(gè)步槍。烏龜=步槍?這個(gè)差距還是非常巨大的。如果正在行駛的無人汽車，把一個(gè)停車標(biāo)志看成了限速標(biāo)志呢?這將會(huì)帶來多大的危險(xiǎn)?近日，F(xiàn)astCodesign發(fā)表了一篇文章討論了這一問題，作者為Katharine Schwab，文章由36氪編譯。
一輛自動(dòng)列車在軌道上飛速行駛，它的攝像頭不斷地掃描著各種信號(hào)，以預(yù)測(cè)它的行駛速度應(yīng)該有多快。它注意到了一個(gè)似乎需要提高速度的信號(hào)，然后照做了。幾秒鐘之后，火車險(xiǎn)些出軌。后來，當(dāng)一名人類調(diào)查員檢查出問題的標(biāo)志時(shí)，他們得到的是一種截然相反的信號(hào)——是放慢速度，而不是加快速度。
神經(jīng)網(wǎng)絡(luò)能做的只能和它們所接受的信息一樣好。這導(dǎo)致了一些引人注目的例子，說明基于錯(cuò)誤數(shù)據(jù)訓(xùn)練的人工智能是有偏見的。
這是一種極端的比喻，但它表明了當(dāng)今機(jī)器學(xué)習(xí)面臨的最大挑戰(zhàn)之一。當(dāng)一個(gè)神經(jīng)網(wǎng)絡(luò)將圖像識(shí)別為一件事物時(shí)，就會(huì)出現(xiàn)一個(gè)對(duì)抗性的例子——人類看到的是另外一種東西。
例如，一個(gè)圖像可能看起來像一只貓，但是當(dāng)一個(gè)計(jì)算機(jī)視覺程序看到它時(shí)，它是一只狗。
這一現(xiàn)象是在2013年發(fā)現(xiàn)的，當(dāng)時(shí)一群來自谷歌和OpenAI的研究人員意識(shí)到，他們可以稍微改變圖像中的像素，使其看起來和人看到的一樣，但機(jī)器學(xué)習(xí)算法會(huì)將其歸類為完全不同的東西。
為什么這種巧合如此重要——而且有潛在的風(fēng)險(xiǎn)?想象一下，如果一輛自動(dòng)駕駛汽車正沿著街道行駛，它可能把停車標(biāo)志看成限速標(biāo)志。如果有人能設(shè)計(jì)出一種財(cái)務(wù)文件，當(dāng)一個(gè)人看到它時(shí)，它是一種樣子，但當(dāng)它被掃描進(jìn)電腦時(shí)，卻顯示出完全不同的數(shù)字，這意味著什么呢?或者，如果某個(gè)充滿惡意的人發(fā)明了一種武器，當(dāng)美國運(yùn)輸安全管理局的攝像頭掃描、使用深度學(xué)習(xí)來處理圖像的時(shí)候，這種武器似乎是無害的——比如說，一只烏龜?
當(dāng)它們剛被發(fā)現(xiàn)的時(shí)候，對(duì)抗性的例子并不是令人擔(dān)憂的。許多研究人員認(rèn)為這是一個(gè)極端案例，一個(gè)隨機(jī)的理論巧合。畢竟，在需要完全訪問算法內(nèi)部的時(shí)候創(chuàng)建一個(gè)敵對(duì)的例子，它會(huì)欺騙用戶。研究人員只能用數(shù)字圖像來構(gòu)建這些例子——如果你試圖打印出數(shù)字形式的圖像，那么你對(duì)圖像的超精確控制會(huì)立即被扭曲，因?yàn)榇蛴C(jī)的分辨率無法在如此詳細(xì)的水平上捕捉像素的變化。例如，盡管你可以成功地騙過一種算法，讓你以為是狗的圖片在它看來是只貓，但如果你把圖像打印出來，并要求算法識(shí)別它時(shí)，它就不會(huì)被騙了。在現(xiàn)實(shí)世界中改變一個(gè)物體似乎更加困難。這似乎是一個(gè)不可能的挑戰(zhàn)，要?jiǎng)?chuàng)造出一個(gè)物體，在形狀方面有如此細(xì)微的變化，以至于人工智能會(huì)把它誤認(rèn)為是別的東西。另外，即使你做到了，一旦改變了角度也不會(huì)奏效。
或者說，學(xué)界的想法就是這樣的。但本月早些時(shí)候，麻省理工學(xué)院的一組學(xué)生成功用3D打印做了一個(gè)看起來像一只可愛的小烏龜?shù)奈矬w——但被機(jī)器學(xué)習(xí)算法當(dāng)作步槍來分類。麻省理工學(xué)院的博士生Anish Athalye說：“我們已經(jīng)證明了它們不是利用奇怪的角落或奇怪部件。實(shí)際上，你可以在現(xiàn)實(shí)生活中偽造這些物體，從而騙過機(jī)器學(xué)習(xí)算法。”
學(xué)生們創(chuàng)建了自己的算法，無論模糊，旋轉(zhuǎn)，縮放，還是角度的任何變化(無論是打印出的2D圖像還是3D模型)，都可以產(chǎn)生物理對(duì)抗性的例子。換句話說，他們的烏龜式步槍不只是一次性的。例如，他們用3D打印出的棒球，被電腦認(rèn)為是濃縮咖啡。它可以可靠地騙過谷歌的InceptionV3圖像分類器——可以識(shí)別1000個(gè)不同的物體的圖像。這些算法已經(jīng)存在于我們的手機(jī)和電腦上，使得照片庫可以被搜索到，并使得在網(wǎng)上可以很容易對(duì)圖片中對(duì)朋友進(jìn)行標(biāo)記。
在被問到如何應(yīng)對(duì)敵對(duì)的例子時(shí)，谷歌指出，谷歌的研究人員已經(jīng)在著手解決這個(gè)問題，該公司正在進(jìn)行一項(xiàng)競(jìng)賽，目的是創(chuàng)建一種圖像分類算法，不會(huì)被對(duì)抗性例子所愚弄。
這個(gè)3D打印的棒球，在電腦看起來就像是一杯濃縮咖啡。
麻省理工學(xué)院的學(xué)生們的工作給將原本只存在于理論上的擔(dān)憂變成了現(xiàn)實(shí)。
“風(fēng)險(xiǎn)很高，”Athalye說，他有計(jì)算機(jī)安全方面的背景。“我們還沒有打破真正的系統(tǒng)，但我們已經(jīng)比人們想象的更接近這一步了。”
并不是只有Athalye和他的同事們?cè)谶@方面進(jìn)行努力。來自華盛頓大學(xué)、密歇根大學(xué)、石溪大學(xué)和加州大學(xué)伯克利分校的一組學(xué)者能夠打印出貼紙，并將其附著在停止標(biāo)記上，從而使圖像分類神經(jīng)網(wǎng)絡(luò)將它們識(shí)別為別的東西。對(duì)停車標(biāo)志的微小改動(dòng)可能看起來像是給司機(jī)(或乘客)的涂鴉，但自動(dòng)駕駛汽車會(huì)看到一個(gè)讓車標(biāo)志或限速標(biāo)志。除了擾亂交通，這可能是危險(xiǎn)的：如果一輛車沒有看到停車標(biāo)志，并穿過十字路口，它就會(huì)撞上另一輛車，讓人們的生命處于危險(xiǎn)之中。
在實(shí)際系統(tǒng)中，對(duì)抗性的例子應(yīng)該是一個(gè)真正值得的問題。如果我們能做到這一點(diǎn)，壞人也能做到。
Athalye說：“”
部分問題在于，研究人員并不完全理解為什么會(huì)出現(xiàn)對(duì)抗性的例子——盡管很多人能自己創(chuàng)造出這方面的例子。
如果沒有對(duì)這一現(xiàn)象的深刻理解，就很難建立起防御機(jī)制，使圖像分類器神經(jīng)網(wǎng)絡(luò)不容易受到機(jī)器學(xué)習(xí)中最令人費(fèi)解的特性的影響。
但這并不意味著研究人員沒有嘗試。據(jù)加州大學(xué)伯克利分校的博士后研究員Bo Li說，目前已經(jīng)有60多篇論文致力于在各種不同的語境中尋找對(duì)抗性的例子。他曾致力于制作貼紙，以改變算法對(duì)街頭標(biāo)識(shí)的看法。
一些人樂觀地認(rèn)為，最終研究人員將能夠找到一個(gè)解決方案，并找到一種方法來預(yù)防這種對(duì)抗性。
對(duì)于安全研究人員來說，將能夠通過特定的軟件解決方案來抵御特定的威脅，這一點(diǎn)仍然是積極的。這可能不是一個(gè)能保護(hù)所有攻擊的萬能工具，而是防范特定類型威脅的防御措施。
Nicolas Papernot是賓夕法尼亞州立大學(xué)計(jì)算機(jī)科學(xué)研究生，他指出，研究人員正開始尋找解決方案，無論成果多么有限。他在電子郵件中告訴我：“我非常樂觀地認(rèn)為，我們可以取得進(jìn)步，最終實(shí)現(xiàn)強(qiáng)大的機(jī)器學(xué)習(xí)。”安全和機(jī)器學(xué)習(xí)社區(qū)也進(jìn)行了卓有成效的交流。例如，今年3個(gè)不同的研究小組報(bào)告了對(duì)視覺模型進(jìn)行基準(zhǔn)測(cè)試的三個(gè)關(guān)鍵任務(wù)：手寫數(shù)字識(shí)別、街景房屋號(hào)碼識(shí)別，以及對(duì)象和動(dòng)物的彩色圖像分類。
