深度學(xué)習(xí)模型表述的難點(diǎn)與意義
深度神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetwork，DNN）作為當(dāng)前人工智能應(yīng)用的首選模型，在圖像識(shí)別，語音識(shí)別，自然語言處理，計(jì)算生物，金融大數(shù)據(jù)等領(lǐng)域成效顯著。但深度神經(jīng)網(wǎng)絡(luò)又被稱為黑盒模型，多層隱藏結(jié)構(gòu)，數(shù)據(jù)/特征矢量化，海量決策關(guān)鍵元等因素讓模型使用者犯難：模型決策的依據(jù)是什么？應(yīng)該相信模型么？特別是對(duì)于金融，醫(yī)藥，生物等關(guān)鍵型任務(wù)，深度學(xué)習(xí)模型的弱解釋性成為人工智能項(xiàng)目落地的最大障礙。
云腦科技自主研發(fā)的Deepro深度學(xué)習(xí)平臺(tái)利用可視化技術(shù)，集成了最前沿的各類深度神經(jīng)網(wǎng)絡(luò)可視化組件，分析與顯化內(nèi)部隱藏結(jié)構(gòu)與模型輸出的關(guān)系，解決黑盒難題。
深度神經(jīng)網(wǎng)絡(luò)的可視化
作為理解人工智能系統(tǒng)的主要技術(shù)，模型可視化是一個(gè)由來已久而且寬泛的話題。模型可視化與數(shù)據(jù)可視化屬于不同的范疇，數(shù)據(jù)可視化通過降維，主成分分析等技術(shù)來分析數(shù)據(jù)的結(jié)構(gòu)，模型可視化針對(duì)的是對(duì)機(jī)器學(xué)習(xí)模型本身的理解。深度神經(jīng)網(wǎng)絡(luò)又是最為復(fù)雜的機(jī)器學(xué)習(xí)模型，其可解釋性與可視化性更加具有挑戰(zhàn)性。網(wǎng)絡(luò)模型為什么起作用，它是否足夠好，圖像識(shí)別是如何抽象出貓這個(gè)概念的？本段分析了幾種典型深度神經(jīng)網(wǎng)絡(luò)可視化技術(shù)，詳盡展示了前沿的可視化原理以及解釋性效果。
云腦Deepro采用的CNN可視化
作為最有效的神經(jīng)網(wǎng)絡(luò)之一，CNN（ConvolutionalNeuralNetwork,卷積神經(jīng)網(wǎng)絡(luò)）解決了大量復(fù)雜的機(jī)器學(xué)習(xí)實(shí)際問題。CNN被廣泛應(yīng)用于圖像識(shí)別，語音識(shí)別，語義識(shí)別等系統(tǒng)。最近的研究表明CNN在包含自動(dòng)駕駛在內(nèi)的自動(dòng)復(fù)雜智能系統(tǒng)中也大展身手。CNN結(jié)構(gòu)通常由一個(gè)或多個(gè)卷積層和頂端的全連通層組成，同時(shí)也包括關(guān)聯(lián)權(quán)重和池化層（poolinglayer）。這一結(jié)構(gòu)使得卷積神經(jīng)網(wǎng)絡(luò)能夠利用輸入數(shù)據(jù)的二維結(jié)構(gòu)。相比較其他深度、前饋神經(jīng)網(wǎng)絡(luò)，CNN需要的參數(shù)更少，能夠更好的利用GPU作大規(guī)模并行處理，使之成為一種頗具吸引力的深度學(xué)習(xí)結(jié)構(gòu)。
舉個(gè)CNN的栗子
CNN帶來了高精度的預(yù)測(cè)模型，但是同時(shí)也留下重要的問題，在復(fù)雜的多層非線性網(wǎng)絡(luò)結(jié)構(gòu)中，究竟是什么讓訓(xùn)練好的CNN模型給出近乎完美的預(yù)測(cè)答案？從CNN被大規(guī)模研究使用以來，學(xué)者們持續(xù)不斷的探索可以理解和解釋CNN的方法，其中可視化技術(shù)被證明是解釋CNN內(nèi)部結(jié)構(gòu)最有效的方法之一。CNN可視化技術(shù)包括，獨(dú)立單元激活的可視化，圖案和區(qū)域生成法，維度縮減空間表示法等。
獨(dú)立單元激活的可視化
理解CNN內(nèi)部網(wǎng)絡(luò)的操作需要追蹤多層網(wǎng)絡(luò)中每一層的特征狀態(tài)，而中間層的狀態(tài)可以通過一種叫做DeconvNet（DeconvolutionalNetwork，去卷積網(wǎng)絡(luò)）的技術(shù)反向映射回輸入層的圖像像素空間。DeconvNet可以理解成另一個(gè)CNN，利用同樣的網(wǎng)絡(luò)結(jié)構(gòu)，包括卷積元，池化等，但相對(duì)于CNN是反向的。DeconvNet主要作用是把CNN從像素學(xué)會(huì)的特征給還原成像素。一個(gè)多層CNN網(wǎng)絡(luò)中每一層都會(huì)對(duì)應(yīng)一個(gè)DeconvNet，這樣做的好處是得到的DeconvNet也是連續(xù)的，可以從任意一個(gè)輸出層或者中間層反推到輸入層的對(duì)應(yīng)像素。
CNN與DeconvNet
設(shè)定好DeconvNet后，如果對(duì)CNN網(wǎng)絡(luò)的某一個(gè)激活元感興趣，只需保留該單元而把其它單元設(shè)為0值后提交給DeconvNet。DeconvNet進(jìn)行反池化，非線性化，去卷積化等操作，每一層DeconvNet重復(fù)此操作后直至到達(dá)最初的像素空間。
CNN隱藏層的可視化
該圖展示了CNN在ImageNet訓(xùn)練后得到的模型中每一層CNN中最強(qiáng)的激活特征單元（灰度圖片），以及該激活單元通過DeconvNet后生成的像素圖（彩色的圖片）。通過DeconvNet可以非常清楚的理解每一層CNN的作用。
通過DeconvNet分析得出，CNN第一層訓(xùn)練學(xué)習(xí)的是以邊為單位的基本元，第二層學(xué)習(xí)了角，圓等其他圖像元，KUKA機(jī)器人電路板維修，之后的第三層則開始學(xué)習(xí)復(fù)雜圖案，而且會(huì)把相似的圖案歸類到一起。限于篇幅的原因后面更深的CNN層圖片就不放出了，通過DeconvNet可以分析出CNN第四層開始出現(xiàn)物體的特征，比如狗的臉部，鳥的腿部等，第五層開始出現(xiàn)整個(gè)物體，以及物體的不同姿勢(shì)和形態(tài)。
DeconvNet清楚的證明了CNN高效的學(xué)習(xí)能力：通過學(xué)習(xí)圖像中物體從小至大的特征而歸納出物體的整體特征。由此得出結(jié)論CNN網(wǎng)絡(luò)中海量的內(nèi)部隱藏特征元并不是隨機(jī)或者不可解釋的。該結(jié)論極大的增加了使用者對(duì)于CNN模型的理解，從而進(jìn)一步信任模型的結(jié)果。DeconvNet技術(shù)除了可以觀察解釋CNN內(nèi)部結(jié)構(gòu)外，還可以用來排除模型建立和調(diào)試時(shí)遇到的問題，以及通過分析內(nèi)部結(jié)果來得到更好的模型。研究表明CNN模型一大優(yōu)勢(shì)就是預(yù)測(cè)精確度與內(nèi)部隱藏層的局部結(jié)構(gòu)有很強(qiáng)的關(guān)聯(lián)。
圖案和區(qū)域生成法
除了從CNN內(nèi)部結(jié)構(gòu)著手的DeconvNet，圖案和區(qū)域生成法也是有效的模型可視化手段。通過進(jìn)行數(shù)值優(yōu)化技術(shù)來生成圖案，CNN預(yù)測(cè)的結(jié)果可以被更好的可視化并帶有解釋性。以常見的圖像分類問題來舉例，CNN在大量圖像數(shù)據(jù)集上訓(xùn)練得出一個(gè)分類器模型：給定的一張圖像會(huì)被標(biāo)注為一個(gè)或多個(gè)類別，比如一張貓的照片會(huì)標(biāo)記為貓或某種貓。對(duì)于一個(gè)特定的標(biāo)注類，圖案生成法通過數(shù)值優(yōu)化生成可以表述為CNN分類分?jǐn)?shù)的圖像，也就是把CNN理解分類的過程給畫了出來，如下圖所示。
CNN所理解的：洗衣機(jī)，鍵盤，狐貍，鵝，鴕鳥，轎車
從生成的圖像中可以看出CNN對(duì)于圖像分類的判斷與人對(duì)圖像的判斷有一定的相似之處，物體的部分特征可以表述出來。但是CNN又學(xué)會(huì)了自有和特有的判定條件，而有一些條件從人類的角度上來看可能是顯而易見的錯(cuò)誤，比如上圖中鵝有多于兩條腿等。通過圖像生成可視化可以幫助理解CNN模型，從而進(jìn)行更好的排錯(cuò)和優(yōu)化。
圖像生成法的另一類應(yīng)用是圖像的區(qū)域識(shí)別。區(qū)域識(shí)別是圖像識(shí)別應(yīng)用中廣泛需求的技術(shù)，在安防人臉識(shí)別，自動(dòng)駕駛環(huán)境識(shí)別等應(yīng)用中是識(shí)別準(zhǔn)確的關(guān)鍵步驟。圖像生成法先建立CNN分類與圖像空間的映射關(guān)系，通過反向梯度傳導(dǎo)來更新映射關(guān)系中的權(quán)重，最終得到一個(gè)完整的類顯著映射集。給定一個(gè)CNN指定分類和原始輸入圖像，該映射集可以生成特征圖案。
映射集生成灰度圖案，白色部分是CNN標(biāo)注的顯著區(qū)域
利用單次反向梯度傳導(dǎo)就可以快速得到上圖中的映射集，從而可以顯示出CNN判斷分類的特征和區(qū)域。比如通過生成法可以理解CNN學(xué)習(xí)的過程同時(shí)包含從圖像中找到小狗的位置，并加以判斷這是一只小狗。用生成法產(chǎn)生的映射集可以進(jìn)一步結(jié)合GraphCut顏色分割技術(shù)來進(jìn)行圖像區(qū)域識(shí)別和物體分割。通過生成法產(chǎn)生的映射集劃定了圖像的大體邊界，加上顏色分割技術(shù)的細(xì)節(jié)修正可以快速高效的識(shí)別物體區(qū)域。
原圖（左）映射生成圖（中1中2）產(chǎn)生分割圖（右）
生成法利用CNN分類模型實(shí)現(xiàn)了區(qū)域識(shí)別。原圖中的物體不僅被標(biāo)識(shí)為正確類別，同時(shí)也標(biāo)注出物體的區(qū)域和邊界。整個(gè)過程又可以通過映射集可視化。
云腦Deepro采用的RNN可視化