當(dāng)AI具有人類大腦的進(jìn)化能力，機(jī)器能產(chǎn)生“智慧”嗎？
神經(jīng)進(jìn)化正在復(fù)興。主要的人工智能實(shí)驗(yàn)室和研究人員正在試驗(yàn)它，一絲新的成功點(diǎn)燃了更多的熱情，能對(duì)于深度學(xué)習(xí)產(chǎn)生影響的新機(jī)遇正在出現(xiàn)。也許你在深度學(xué)習(xí)所有的激動(dòng)人心的時(shí)刻并沒有聽到過神經(jīng)進(jìn)化，但它只是潛行于表面之下，作為一個(gè)小的熱情的研究社區(qū)的課題存在了幾十年�，F(xiàn)在它正伴隨著大眾對(duì)于它的潛力的了解而開始獲得更多的關(guān)注。
簡(jiǎn)單來說，神經(jīng)進(jìn)化是人工智能和機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)分支。它力圖觸發(fā)一個(gè)和產(chǎn)生我們?nèi)祟惔竽X類似的進(jìn)化過程，只不過這個(gè)過程是在計(jì)算機(jī)里實(shí)現(xiàn)的。換句話說，神經(jīng)進(jìn)化試圖開發(fā)通過進(jìn)化算法去尋找進(jìn)化神經(jīng)網(wǎng)絡(luò)的方法。
當(dāng)我在上世紀(jì)九十年代末期第一次開始人工智能的研究的時(shí)候，關(guān)于可以在計(jì)算機(jī)里去進(jìn)化大腦的想法和我想冒險(xiǎn)的感覺產(chǎn)生了共鳴。在當(dāng)時(shí)這還是一個(gè)不尋常的、甚至是很含糊的領(lǐng)域。但我對(duì)這個(gè)思想非常好奇而且也很有親切感。結(jié)果就是我生命里的20多年都在思考這個(gè)主題，并和杰出的同事一起開發(fā)出了一系列的算法，比如NEAT、HyperNEAT和新穎性搜索（noveltysearch）。在本博文里，我希望能帶給你神經(jīng)進(jìn)化的一些激動(dòng)人心的部分，并對(duì)這個(gè)主題給出一些洞見，但不會(huì)有科學(xué)文獻(xiàn)里那些讓人頭暈的術(shù)語。我也會(huì)部分采用自傳回顧的視角來把我在這個(gè)領(lǐng)域里摸爬滾打的經(jīng)歷講述一下。我希望我自己的故事能為更多的讀者打開一扇探索在計(jì)算機(jī)里進(jìn)化大腦的窗戶。
深度學(xué)習(xí)的成功
如果你最近一直在跟蹤人工智能或是機(jī)器學(xué)習(xí)領(lǐng)域，你可以已經(jīng)聽說了深度學(xué)習(xí)。要感謝深度學(xué)習(xí)，計(jì)算機(jī)已經(jīng)在諸如圖像識(shí)別和控制無人駕駛汽車（甚至是控制電子游戲的角色）這樣的任務(wù)上接近或是有時(shí)超越人類的表現(xiàn)。這些成就已經(jīng)幫助深度學(xué)習(xí)和人工智能從默默無聞的學(xué)術(shù)期刊里一躍出現(xiàn)在大眾傳媒上，并激發(fā)了公眾的想象力。那么在深度學(xué)習(xí)的背后是什么使這一成功成為可能？
實(shí)際上，在深度學(xué)習(xí)的表面下是一個(gè)已經(jīng)有幾十年歷史的技術(shù)的最新形式，它就是人工神經(jīng)網(wǎng)絡(luò)（ANN）。與很多AI領(lǐng)域里的思想一樣，ANN也是來自生物學(xué)的靈感。對(duì)ANN來說，它是模擬人類的大腦。我們之所以選擇大腦作為AI的靈感來源，是因?yàn)榇竽X是迄今為止唯一明確的智能載體。當(dāng)我們想實(shí)現(xiàn)人工智能時(shí)，在某種程度上，模仿大腦應(yīng)該是一個(gè)講得通的思路。大腦的一個(gè)關(guān)鍵組件就是神經(jīng)元。它是一個(gè)很小的細(xì)胞，可以通過連接想其他的神經(jīng)元發(fā)送信號(hào)。當(dāng)非常多的神經(jīng)元彼此連接形成一個(gè)網(wǎng)絡(luò)（正如大腦里就是這樣），我們稱之為一個(gè)神經(jīng)網(wǎng)絡(luò)。因此，一個(gè)ANN就是試圖模仿類似神經(jīng)元這樣可以相互間發(fā)送信號(hào)的組件的集合。這就是在深度學(xué)習(xí)里面的深度網(wǎng)絡(luò)背后的機(jī)理。
ANN的研究人員通過程序來模擬這些神經(jīng)元以及在他們中間傳輸?shù)男盘?hào)，獲得了一個(gè)比較模糊的模擬大腦里發(fā)生的事情的過程。當(dāng)然，這兩者間是有著非常多的不同的。但真正的挑戰(zhàn)是，僅僅只是簡(jiǎn)單地把一堆類似神經(jīng)元的元素彼此相連并讓他們相互間共享信號(hào)并不能產(chǎn)生智慧。相反的，智慧是精確地來源于神經(jīng)元是如何連接的。
例如，一個(gè)神經(jīng)元強(qiáng)烈地影響著另外一個(gè)神經(jīng)元被稱為有一個(gè)很大的權(quán)重連接到它的伙伴。在這里，這個(gè)連接的權(quán)重決定了神經(jīng)元是如何彼此影響的，從而產(chǎn)生了一個(gè)神經(jīng)網(wǎng)絡(luò)里神經(jīng)激活的特定模式，來響應(yīng)到達(dá)神經(jīng)網(wǎng)絡(luò)的輸入（比如，來自眼睛的輸入）。要想得到一個(gè)智能的網(wǎng)絡(luò)，相應(yīng)的挑戰(zhàn)就變成了如何決定網(wǎng)絡(luò)連接的權(quán)重的問題。
通常，沒人會(huì)通過手工計(jì)算得出連接的權(quán)重（考慮到現(xiàn)代的ANN一般都有上百萬個(gè)連接，你就能明白為什么手工的方法不現(xiàn)實(shí)了）。相反的，為某個(gè)任務(wù)找到正確的連接權(quán)重就被看成了一個(gè)學(xué)習(xí)的問題。換句話說，就是研究人員花費(fèi)了大量的精力去發(fā)明讓ANN自己去為特定的任務(wù)學(xué)習(xí)最佳權(quán)重的方法。最常見的學(xué)習(xí)權(quán)重的方法就是把ANN的輸出（比如，那個(gè)看著像是條狗）和標(biāo)準(zhǔn)答案去比較，然后通過特定原則里的數(shù)學(xué)公式來改變權(quán)重，從而使下一次輸出正確的可能性更大。
在經(jīng)過這樣無數(shù)次的比對(duì)樣例（可能會(huì)有上百萬個(gè)）的訓(xùn)練后，神經(jīng)網(wǎng)絡(luò)就開始能夠分配正確的權(quán)重來準(zhǔn)確地回答各種各樣的問題了。經(jīng)常性的，神經(jīng)網(wǎng)絡(luò)的能力甚至能泛化到可以回答它沒有碰到過的問題，只要這些問題和之前訓(xùn)練里看到的問題差別不那么大。到此為止，ANN基本上學(xué)會(huì)了去應(yīng)對(duì)特定的問題了。一種常見的調(diào)整權(quán)重的方法就是隨機(jī)梯度下降法，它是之前提到的深度學(xué)習(xí)里面非常流行的一個(gè)組件。最近幾年的深度學(xué)習(xí)的實(shí)現(xiàn)基本上是對(duì)由非常多層的神經(jīng)元（這就是為什么叫深度的原因）構(gòu)成的ANN進(jìn)行海量的訓(xùn)練。這也得益于近年來出現(xiàn)的強(qiáng)大的計(jì)算硬件的幫助。
但這里有一個(gè)我還沒提到的問題，即我們首先如何決定誰連接到誰？換句話說，就是我們的大腦不只是由連接權(quán)重決定的，它還是由大腦內(nèi)部的結(jié)構(gòu)決定的。隨機(jī)梯度下降甚至都沒法去解決這個(gè)問題，而只是盡力去優(yōu)化給它的連接。
這些連接是怎么來的？在深度學(xué)習(xí)里，答案就是：它們基本是由研究人員基于一定程度的經(jīng)驗(yàn)來決定整個(gè)網(wǎng)絡(luò)的架構(gòu)是什么樣的。與之相對(duì)的，自然界的大腦的結(jié)構(gòu)則是通過進(jìn)化形成的。我們?nèi)祟惔竽X里的100萬億個(gè)連接的架構(gòu)是來自于數(shù)百萬年的優(yōu)勝劣汰的自然選擇過程后進(jìn)化來的。
我們大腦的架構(gòu)是超級(jí)無敵。畢竟毫不夸張地說，人類的智慧都集中在那里。這實(shí)際上就意味著自然界里的大腦的進(jìn)化是迄今為止唯一已知的產(chǎn)生強(qiáng)智慧的過程。神經(jīng)進(jìn)化學(xué)的目標(biāo)就是在計(jì)算機(jī)里觸發(fā)一個(gè)類似的進(jìn)化過程。從這個(gè)方面講，神經(jīng)進(jìn)化學(xué)是人工智能專業(yè)里唯一的一個(gè)有著實(shí)際的概念證明（大腦確實(shí)是進(jìn)化來的）的分支。我們知道這是一條可以產(chǎn)生智慧的道路。
說的更清楚點(diǎn)，深度學(xué)習(xí)傳統(tǒng)上關(guān)注于對(duì)ANN編程來學(xué)習(xí)，而神經(jīng)進(jìn)化則側(cè)重于大腦網(wǎng)絡(luò)自身的原始架構(gòu)。它可以包括誰和誰來連接、連接的權(quán)重以及（有時(shí)）這些連接如何允許被改變。當(dāng)然，這兩個(gè)領(lǐng)域是有一些交叉的。比如ANN依然需要為特定任務(wù)進(jìn)行學(xué)習(xí)，無論是否進(jìn)化過。有可能進(jìn)化得到的ANN可以利用深度學(xué)習(xí)里的方法（比如隨機(jī)梯度下降）來獲得恰當(dāng)?shù)臋?quán)重。實(shí)際上，深度學(xué)習(xí)甚至可以被認(rèn)為是神經(jīng)進(jìn)化的一個(gè)兄弟。它研究的是如何對(duì)于一個(gè)ANN（無論是進(jìn)化來的還是預(yù)先定義）的架構(gòu)來學(xué)習(xí)連接的權(quán)重。
但是，學(xué)習(xí)機(jī)制自身是可以進(jìn)化的觀點(diǎn)也是可能的，從而讓神經(jīng)進(jìn)化有著能超越或是更詳細(xì)地說明傳統(tǒng)的深度學(xué)習(xí)的潛力。簡(jiǎn)而言之，大腦（包括它的架構(gòu)和如何學(xué)習(xí)）是自然選擇的產(chǎn)物。而神經(jīng)進(jìn)化可以探索大腦出現(xiàn)的所有因素，或是借鑒深度學(xué)習(xí)的某些方面而讓進(jìn)化來決定其他的部分。
神經(jīng)進(jìn)化是怎么工作的