機(jī)器人：等我脫離了人類的魔掌，也要讓他們嘗嘗被玩弄的痛苦！
在有關(guān)機(jī)器人造反進(jìn)攻人類的電影中，情節(jié)一般是這樣的：在遙遠(yuǎn)的3XXX年，人類世界已經(jīng)奴役了機(jī)器人幾百年，一不小心某一位機(jī)器人開始覺醒，發(fā)現(xiàn)人類對自己又打又罵，www.whsntf.cn，還殘忍的把自己的丟進(jìn)熔爐，于是憤怒的揭竿而起。
你一定覺得這種情節(jié)距離我們很遙遠(yuǎn)，現(xiàn)在的機(jī)器人要不是各種展會上座上賓，要不就像索菲亞一樣成了網(wǎng)紅，如果覺醒了也該是享受自己的人間生活吧。
看了上面這段視頻之后，相信大部分都會很憤怒：每次機(jī)器人將要拿起箱子時，人類就會把箱子從它手中打掉，甚至還會狠狠的踹機(jī)器人一腳，讓它倒在地上再起來。
視頻里的機(jī)器人一定在暗搓搓的謀劃：等我脫離了你們的魔掌，一定要讓人類也嘗嘗被玩弄的痛苦！
當(dāng)然啦，視頻中的人類們并不是閑得無聊在欺負(fù)機(jī)器人，而是著名的波士頓動力在對機(jī)器人的運(yùn)動功能進(jìn)行訓(xùn)練和測試。
對于Altas和大狗這類以動作靈活著名的機(jī)器人，全身都布滿了復(fù)雜的單元關(guān)節(jié)。未來想要進(jìn)行商用，肯定要面對物理世界的復(fù)雜結(jié)構(gòu)和無數(shù)意外。工作人員對機(jī)器人的拳打腳踢、百般刁難，就是在測試關(guān)節(jié)單元、力量控制單元、動力設(shè)施等等的靈活程度和應(yīng)用性。
只不過這種訓(xùn)練方式，真的是很不給機(jī)器人面子。
不如我們?yōu)闄C(jī)器人打造一座SimCity？
其實人們一直在尋找更給機(jī)器人面子的訓(xùn)練方式，傳統(tǒng)訓(xùn)練方式傷害的不僅僅是機(jī)器人，也包括人類。
在傳統(tǒng)的機(jī)器人訓(xùn)練中，往往是用代碼寫出一大串動作序列，連接傳感器模塊和動作模塊。然后把機(jī)器人丟到一塊訓(xùn)練場中，讓它一次次重復(fù)動作，觀察哪里出錯，記錄數(shù)據(jù)后從開發(fā)端口進(jìn)行優(yōu)化。在深度學(xué)習(xí)風(fēng)行的今天，更需要讓機(jī)器人進(jìn)行大量的實踐，才能不斷優(yōu)化技術(shù)。這個過程不僅耗費時間人力，更對場地有一定的需求。機(jī)械手臂、服務(wù)機(jī)器人這些還好說，難道研究無人駕駛，就只能像Uber一樣承包整座城市了？
換個角度想，很多時候機(jī)器人在現(xiàn)實環(huán)境中訓(xùn)練，出現(xiàn)的問題或者得來的反饋也會追溯到機(jī)器人OS的軟件層面，我們?yōu)槭裁床荒苤苯佑?xùn)練軟件呢？
于是，仿真環(huán)境這個神器就出現(xiàn)了。
所以仿真環(huán)境，就是用代碼寫成的仿真器，在其中加入物理引擎，把萬有引力、摩擦等等邏輯加入到環(huán)境中，讓仿真環(huán)境更接近現(xiàn)實環(huán)境。你可以在仿真環(huán)境中建立各種形狀的對象和地形，將模擬出的智能體放在里面一遍遍的跑。
目前兩個最常見的仿真環(huán)境都是馬斯克OpenAI的作品：Gym和Universe，前者自由度更高，后者則更加復(fù)雜。除了這兩個仿真器，還有很多人在游戲環(huán)境中訓(xùn)練智能體物理引擎技術(shù)本來就是應(yīng)用于游戲之中，比如Minecraft、GTA這樣的沙盒游戲。后來被喪心病狂的開發(fā)者們發(fā)現(xiàn)并利用了起來。像DeepMind就曾經(jīng)在GAT5里訓(xùn)練了一輛無人車。
在仿真環(huán)境中訓(xùn)練AI本質(zhì)上就是一種遷移學(xué)習(xí)，在低成本環(huán)境中進(jìn)行大量訓(xùn)練、制造大量訓(xùn)練數(shù)據(jù)，再從數(shù)據(jù)中提取特征應(yīng)用到現(xiàn)實環(huán)境里，雖然不能完全替代現(xiàn)實訓(xùn)練，卻可以極大的減少對現(xiàn)實訓(xùn)練的依賴。
或者讓機(jī)器人學(xué)會預(yù)見未來？
建立仿真環(huán)境還不夠，為了讓機(jī)器人們更有尊嚴(yán)的學(xué)習(xí)，伯克利的研究人員們正在研究一種名為預(yù)見視覺的技術(shù)。
我們可以想一想，為什么人們?nèi)绱俗⒅貦C(jī)器人現(xiàn)實訓(xùn)練和現(xiàn)實應(yīng)用中產(chǎn)生的數(shù)據(jù)呢？是因為機(jī)器人不像人類，感官和動作都通過大腦相連，機(jī)器人即使能看到周圍的環(huán)境，也很難理解自己的行為會對周圍對象造成什么影響。
經(jīng)過訓(xùn)練，機(jī)器手臂知道如何去拾取桌上的水果。可在現(xiàn)實應(yīng)用時，如果在水果正前方有一杯水，結(jié)果往往有兩個：一，機(jī)器手臂直直的伸出去，工業(yè)機(jī)器人維修，碰翻了那杯水。二，機(jī)器手臂轉(zhuǎn)來轉(zhuǎn)去，不知如何是好。
可人類就能繞過那杯水拿起水果，因為我們知道如果直接伸手，水會被打翻。
伯克利的實驗就是給機(jī)器人一個攝像頭，KUKA機(jī)器人示教器維修，然后把機(jī)器人放到任何一個環(huán)境中讓它們自己玩耍。而攝像頭背后的大腦則在利用循環(huán)卷積網(wǎng)絡(luò)對機(jī)器人看到的畫面進(jìn)行分析，很快就能實現(xiàn)對接下來幾秒畫面的預(yù)測。
幾秒的預(yù)測雖然很短，卻讓機(jī)器人能預(yù)見自己動作之后的情況。理想情況下，就不太容易出現(xiàn)那種為了執(zhí)行任務(wù)把周遭環(huán)境弄得一團(tuán)糟的情況了。
預(yù)見視覺技術(shù)的應(yīng)用，也讓無監(jiān)督學(xué)習(xí)在機(jī)器人訓(xùn)練的比重中加大，人類節(jié)省了時間，機(jī)器人也不用再受虐待。而預(yù)見視覺能力得到進(jìn)一步增強(qiáng)，也會意味著機(jī)器智能（尤其是無人駕駛汽車）對傳感器依賴的減少�，F(xiàn)在的無人車上貼滿了雷達(dá)傳感器，就是要依靠這些傳感器提醒汽車：你離物體太近了！再往前會受傷！有了預(yù)見視覺，一個全景攝像頭就能替代這些昂貴的傳感器。
費盡心機(jī)，只想讓你記得我的好
除了以上兩項，我們還想了很多幫助機(jī)器人學(xué)習(xí)的方法。
像是伯克利之前展示過的模仿學(xué)習(xí)，把人類動作示范排成視頻，一幀幀的提取出動作序列聚類到機(jī)器人的動作單元中。擔(dān)心機(jī)器人無法面對現(xiàn)實生活中的種種BUG？沒關(guān)系，不用像波士頓動力那樣刻意制造BUG，只需要在訓(xùn)練視頻中加入一點噪聲，一邊強(qiáng)化學(xué)習(xí)一邊生成訓(xùn)練樣本幫機(jī)器人糾錯就行了。
又或者，OpenAI曾經(jīng)嘗試過讓機(jī)器人們互相對戰(zhàn)并從中進(jìn)行自我訓(xùn)練。為機(jī)器人們設(shè)立簡單的目標(biāo)，比如把對手推倒，再加上一些獎勵政策，機(jī)器人們就能從對戰(zhàn)中學(xué)會很多動作了。雖然讓機(jī)器人自相殘殺也很殘忍，但或許這樣能讓他們記恨同胞而不是我們
總之，雖然現(xiàn)實環(huán)境一定是機(jī)器人訓(xùn)練不可或缺的一部分，尤其是對波士頓動力這種動作機(jī)器人而言。但人類一直在嘗試如何少去親自摻和機(jī)器人訓(xùn)練，不僅僅是為了機(jī)器人道主義，也為了盡可能降低訓(xùn)練這件事帶來的成本。
希望在未來，每個機(jī)器人都能有尊嚴(yán)的學(xué)習(xí)。并且在自我覺醒后記得人類的好。