深度學習要另起爐灶，徹底拋棄反向傳播？
在深度學習才開始流行但是沒有像如今這么成熟的時候（2011年），Hinton等人就已經(jīng)開始思考一個問題：深度學習依賴的反向傳播算法（back-prop）在生物學上是很難成立的，很難相信神經(jīng)系統(tǒng)能夠自動形成與正向傳播對應(yīng)的反向傳播結(jié)構(gòu)（這需要精準地求導數(shù)，對矩陣轉(zhuǎn)置，利用鏈式法則，并且解剖學上從來也沒有發(fā)現(xiàn)這樣的系統(tǒng)存在的證據(jù)）。
另外一點是，神經(jīng)系統(tǒng)是有分層的（比如視覺系統(tǒng)有V1,V2等等分層），但是層數(shù)不可能像現(xiàn)在的大型神經(jīng)網(wǎng)絡(luò)一樣動不動就成百上千層（而且生物學上也不支持如此，神經(jīng)傳導速度很慢，不像用GPU計算神經(jīng)網(wǎng)絡(luò)一層可能在微秒量級，生物系統(tǒng)傳導一次一般在ms量級，這么多層數(shù)不可能支持我們現(xiàn)在這樣的反應(yīng)速度，并且同步也存在問題）。
但是有趣的是，目前大多數(shù)研究指出，大腦皮層中普遍存在一種稱為Corticalminicolumn的柱狀結(jié)構(gòu)，庫卡機器人驅(qū)動器維修，其內(nèi)部含有上百個神經(jīng)元，并存在分層。這意味著人腦中的一層并不是類似現(xiàn)在神經(jīng)網(wǎng)絡(luò)的一層，而是有復雜的內(nèi)部結(jié)構(gòu)。
不過Hinton也沒有料到后來CNN發(fā)展的如此火，他當時的這篇論文沒有怎么受到關(guān)注。這幾年他也沒有繼續(xù)關(guān)注這個問題，因為CNN，LSTM,NTM等等問題太多太有趣。
不過到現(xiàn)在，CNN的發(fā)展似乎到了一個瓶頸：特別大，特別深的網(wǎng)絡(luò)；容易被對抗樣本欺騙；仍然需要大量訓練數(shù)據(jù)；無監(jiān)督學習方面進展很少。
Hinton在題主給的視頻中重新分析了一下目前CNN的問題，主要集中在Pooling方面（我認為可以推廣到下采樣，因為現(xiàn)在很多CNN用卷積下采樣代替Pooling層）。Hinton認為，過去人們對Pooling的看法是能夠帶來invariance的效果，也就是當內(nèi)容發(fā)生很小的變化的時候（以及一些平移旋轉(zhuǎn)），CNN仍然能夠穩(wěn)定識別對應(yīng)內(nèi)容。
Hinton覺得這是一個錯誤的方向。他給出了一個心理學實驗的例子，這個例子要求判斷兩個R是否是一樣的，僅僅因為旋轉(zhuǎn)導致不同：
（幾乎所有）人的做法是下意識的旋轉(zhuǎn)左側(cè)的R，看它們是否重合。
但是按照CNN的invariance的想法完全不是這么做。如果你對訓練神經(jīng)網(wǎng)絡(luò)有經(jīng)驗，你可能會想到我們在做圖像預處理和數(shù)據(jù)拓增的時候，會把某些圖片旋轉(zhuǎn)一些角度，作為新的樣本，給神經(jīng)網(wǎng)絡(luò)識別。這樣CNN能夠做到對旋轉(zhuǎn)的invarience，并且是直覺上的invariance，根本不需要像人那樣去旋轉(zhuǎn)圖片，它直接就忽視了旋轉(zhuǎn)，因為我們希望它對旋轉(zhuǎn)invariance。
CNN同樣強調(diào)對空間的invariance，也就是對物體的平移之類的不敏感（物體不同的位置不影響它的識別）。這當然極大地提高了識別正確率，但是對于移動的數(shù)據(jù)（比如視頻），或者我們需要檢測物體具體的位置的時候，CNN本身很難做，機器人維修，需要一些滑動窗口，或者R-CNN之類的方法，這些方法很反常（幾乎肯定在生物學中不存在對應(yīng)結(jié)構(gòu)），而且極難解釋為什么大腦在識別靜態(tài)圖像和觀察運動場景等差異很大的視覺功能時，幾乎使用同一套視覺系統(tǒng)。
因此Hinton認為，人腦做到的是equivariance，也就是能夠檢測到平移、選轉(zhuǎn)等等各種差異，但是能夠認識到他們在某些視覺問題場景下是相同的，某些場景下應(yīng)該有所區(qū)別，而不是像CNN一樣為了追求單一的識別率，用invariance掩蓋這些差異。
于是Hinton重新開始關(guān)注Capsules的問題，希望從中有所突破，解決之前深度學習中的很多問題。如果確實能夠解決這些問題，Hinton有勇氣完全拋棄之前的體系結(jié)構(gòu)，從0開始。
這是Hinton最近被NIPS接受的關(guān)于Capsules論文DynamicRoutingbetweenCapsules（未發(fā)表）。其在MNIST上非常成功，識別率達到了新高，同時解決了CNN難以識別重疊圖像等問題。
注：上文中equivalence改為了equivariance，這是更準確的說法
一些分析
雖然現(xiàn)在只有論文摘要，以及Hinton最近的視頻，我們還是可以分析一下Hinton的想法和追求：
可解釋性。
按照Hinton的說法，Capsule是一組神經(jīng)元，這組神經(jīng)元的激發(fā)向量可以代表對應(yīng)于一類實體（比如一個物體，或者一個物體的部件）的實例參數(shù)（instantiationparameters）。這個說法非常像Hinton曾經(jīng)提的專家積（ProductsofExperts）[1]的概念，他用這個概念解釋著名的對比散度（contrastivedivergence）算法[2]。更為人熟知的是AndrewY.Ng的關(guān)于自動從視頻中識別貓臉的實驗[3]，這些實驗都暗示了某個神經(jīng)元可以代表代表某些物體實例（祖母細胞假說）。但是我們知道，某個神經(jīng)元自身是個簡單的數(shù)學變換，其自身不能起到?jīng)Q定性的作用。CNN等能夠自動抽取圖像特征等等性質(zhì)已經(jīng)為人熟知，但是到底是哪些神經(jīng)元或者哪些結(jié)構(gòu)起了作用？這個很難回答。現(xiàn)代大多數(shù)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是相對整體且比較粗糙的，很難解釋其內(nèi)部的具體作用機制，因此我們常常把神經(jīng)網(wǎng)絡(luò)稱為黑盒模型�，F(xiàn)在有了Capsule后，我們或許可以以Capsule為單位分析得出每個Capsule具體的作用，這樣可解釋性要強很多。
注：從視頻中看Hinton所說的instantiationparameters應(yīng)該是指表征以下內(nèi)容的參數(shù)：
1.某類物體出現(xiàn)的概率
2.物體的一般姿態(tài)（generalizedpose），包括位置，方向，尺寸，速度，庫卡機器人何服電機維修，顏色等等
因果性。
這是Hinton在視頻中重點提到的，也是很多機器學習專家關(guān)心的東西�，F(xiàn)在的神經(jīng)網(wǎng)絡(luò)缺乏某種推斷的機制，更多是目標函數(shù)最大化下的函數(shù)擬合。我們知道網(wǎng)絡(luò)能夠正確分類某個圖片，但是為什么？圖片中什么部分或者條件才導致網(wǎng)絡(luò)得出這個結(jié)論？如果分類出錯了，又是什么具體的部分或者條件誤導了它？這些我們都不是非常清楚，大部分時候僅僅靠調(diào)參提高結(jié)果。而論文中DynamicRouting，就是希望能夠形成一種機制，讓網(wǎng)絡(luò)能夠?qū)⑦m合Capsule_A處理的內(nèi)容，路由到Capsule_A讓其處理。這樣就形成了某種推斷鏈。找到最好的（處理）路徑等價于（正確）處理了圖像，Hinton這樣解釋。
Hinton指出，原先的Pooling，類似于靜態(tài)的routing，僅僅把上面的結(jié)果原地交給下面一層的神經(jīng)元。（下面圖片中DynamicRouting僅供示意，具體實現(xiàn)要看發(fā)表出來的論文）
無監(jiān)督學習。
這點也是Hinton強調(diào)的（原話似乎是Ahumandoesnotknowsomuchlabels）。Hinton估計有在Capsule基礎(chǔ)上做無監(jiān)督研究的意向，在之前的[4]中Hinton已經(jīng)用Capsule實現(xiàn)了自編碼器。
如何看待Hinton重新提出的Capsule?
首先這個工作成功或者不成功都是很正常的，就算Capsule真的會成為以后的趨勢，Hinton也未必這么快找到正確的訓練算法；就算Hinton找到了正確的訓練算法，也沒有人能夠保證，Capsules的數(shù)量不到人腦中mini-columns數(shù)量的時候，能夠起達到人類的識別率（何況現(xiàn)在CNN雖然問題很多，但是識別率很多已經(jīng)超過人類了）。