擔(dān)心的事情還是發(fā)生了，AI水軍你根本看不出來
無論是中國還是美國，很多人在選擇餐館或者酒店的時候，主要依靠網(wǎng)上的點(diǎn)評，比方說大眾點(diǎn)評或者Yelp等等。
某種程度上，口碑已經(jīng)成為不少企業(yè)的命脈，變成服務(wù)和產(chǎn)品質(zhì)量的永久記錄。與此同時，不公平或者虛假的點(diǎn)評也讓企業(yè)憂心忡忡，這些有可能來自憤怒的顧客，有可能來自競爭對手。
水軍，在全球都是一個讓人頭疼的問題，以后可能會更疼了：
人工智能（AI）已經(jīng)學(xué)會自動編寫虛假點(diǎn)評了。
整個點(diǎn)評口碑界正面臨潛在卻是嚴(yán)重的沖擊。如果AI創(chuàng)造的虛假點(diǎn)評泛濫，庫卡機(jī)器人何服電機(jī)維修，最終將導(dǎo)致全部點(diǎn)評信息可信度急劇下降。技術(shù)進(jìn)步，這一次又給社會帶來了（令人擔(dān)憂的）影響。
不知道許知遠(yuǎn)會不會更焦慮了。
這對整個社會是一個巨大的威脅，不但會讓依靠點(diǎn)評信息的用戶失望，而且會動搖人類對于真實(shí)和虛假的信念，我認(rèn)為后者更讓人擔(dān)心，芝加哥大學(xué)計(jì)算機(jī)科學(xué)教授趙燕斌（BenY.Zhao）說。
以假亂真
《在線點(diǎn)評系統(tǒng)中的自動眾包攻擊和防御》是趙燕斌等芝加哥大學(xué)研究人員發(fā)布的一篇論文。他們的研究說明，人工智能可以被用來生成復(fù)雜的點(diǎn)評信息。這些虛假的點(diǎn)評不僅機(jī)器無法檢測出來，就連人類讀者也分辨不出來。
這篇論文今年晚些時候會在計(jì)算機(jī)安全頂級會議ACMCCS上展示。
所謂復(fù)雜的點(diǎn)評信息，大概是這個樣子：我喜歡這個地方。我跟我哥一起去的，我們點(diǎn)了素食意大利面，很好吃。啤酒不錯，服務(wù)也很棒。推薦這個地方，是個吃早餐的好去處。地兒小但是買賣大。
乍一看這個點(diǎn)評沒有什么奇怪的，里面包含一些具體的建議和可信的描述，雖然最后一句有點(diǎn)奇怪，但整體仍然是一段說人話的表達(dá)。
實(shí)際上，這句話是一種稱為RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）的深度學(xué)習(xí)技術(shù)生成的。這個RNN網(wǎng)絡(luò)使用了上千條真實(shí)在線點(diǎn)評訓(xùn)練而成。
研究人員表示，AI生成的點(diǎn)評已經(jīng)做到了以假亂真，有600個用戶參與的調(diào)查顯示，這些虛假的點(diǎn)評不僅能逃過人類的法眼，而且還被用戶認(rèn)為有用。
有用是更可怕的事情：這表明虛假點(diǎn)評已經(jīng)可以對人類造成影響。
反抄襲軟件也對這些虛假點(diǎn)評無能為力，因?yàn)檫@些點(diǎn)評是逐字生成的，而不是簡單的替換已有點(diǎn)評中的用詞。如果使用反抄襲軟件檢測，不但很難檢測出虛假點(diǎn)評，而且會誤傷一大批真實(shí)的點(diǎn)評。RNN可不僅僅是對現(xiàn)有點(diǎn)評的復(fù)制。
人類水軍面臨下崗
人類手寫的虛假點(diǎn)評，已經(jīng)是一個興盛的地下行業(yè)。只要有錢，你就能找到人幫你的產(chǎn)品寫下正面的點(diǎn)評，后者給對手寫下負(fù)面的評價。
現(xiàn)在，傳統(tǒng)水軍行業(yè)未來可能也要被AI取代了。
美國市場上，一段質(zhì)量較高的Yelp點(diǎn)評，可能價格能到10美元。不過一旦有了AI的幫助，君心叵測的人可以一分錢不用就生成上千條點(diǎn)評，庫卡機(jī)器人，而且一起放出以免引起懷疑。
好消息是，現(xiàn)在還沒有AI在現(xiàn)實(shí)世界中生成惡意虛假點(diǎn)評的案例。
壞消息是，構(gòu)建一個這樣的人工智能系統(tǒng)，并不需要太長的時間，所需硬件市面上都能買到，所需的點(diǎn)評數(shù)據(jù)庫可以在網(wǎng)上輕易獲得。
仍有對策
如果有人開始大規(guī)模生產(chǎn)這種假點(diǎn)評，大眾點(diǎn)評、Yelp這樣的網(wǎng)站恐怕就沒有好日子過了，畢竟，它們的招牌就是來自用戶的真實(shí)點(diǎn)評，如果每一條都可能是假的，誰又會繼續(xù)相信它們呢？
接下來淪陷的，會是淘寶京東亞馬遜之類的電商，雖然趙燕斌說至少它們還能限制只有買過該商品的用戶才能點(diǎn)評，但情況也不容樂觀。
不過，也有好消息。
研究者們說，這種假點(diǎn)評也不是完全沒法防范，人類覺得它們能以假亂真，但機(jī)器不見得這么看。用計(jì)算機(jī)去分析字符的分布等特征，他們就會發(fā)現(xiàn)真假點(diǎn)評之間存在著細(xì)微的差異。
假點(diǎn)評是從真實(shí)點(diǎn)評里學(xué)出來的，在這個過程中，難免會有信息流失。假點(diǎn)評注重的是流暢、可信，但像字符分布這種平時沒人關(guān)注的特征，就做得不那么好了。
在訓(xùn)練過程中發(fā)生的信息遺失，會傳遞到生成出的文本中，研究者們在論文中寫道，因此生成文本和人類文本在基本字符分布上，有著統(tǒng)計(jì)上可檢測的差異。
當(dāng)然，攻擊者也可以騙過檢測，換好一點(diǎn)的硬件，做更復(fù)雜一點(diǎn)的神經(jīng)網(wǎng)絡(luò)就行。但這種檢測的意義在于至少提高了攻擊的門檻，為他們設(shè)置了一些障礙。
如果攻擊的成本高到一定程度，大部分沒那么執(zhí)著的攻擊者也就收手了。趙燕斌說：這就是一種勝利，所有的安全工作都是這樣，提高攻擊的門檻。你永遠(yuǎn)沒辦法阻止那種目標(biāo)堅(jiān)定、身手老練的攻擊者。
在一份郵件聲明中，Yelp發(fā)言人RachelYoungblade說他們很欣賞這份研究指出了隨著欺騙點(diǎn)評系統(tǒng)的方法持續(xù)進(jìn)化，越來越復(fù)雜，Yelp這類大型用戶點(diǎn)評網(wǎng)站在保障內(nèi)容真實(shí)性上面臨著重大挑戰(zhàn)。十年來，Yelp一直有保護(hù)內(nèi)容的系統(tǒng)，而正因?yàn)槠垓_手段越來越復(fù)雜，我們也持續(xù)迭代這些系統(tǒng)，來識別假點(diǎn)評，以及偏頗、沒有幫助的內(nèi)容。這份研究的作者們以Yelp系統(tǒng)作為‘真實(shí)’的代表，并承認(rèn)它的有效性，我們非常感激。
不過，這份研究創(chuàng)造的僅僅是看起來真實(shí)的點(diǎn)評文本，Yelp的推薦軟件使用了更整體的方法，除了文本之外，還使用了很多其他因素來決定是否推薦一條點(diǎn)評。如果某條點(diǎn)評沒有價值或有失偏頗，就算它是人類做出的，我們也不會推薦。
不止于點(diǎn)評
點(diǎn)評是測試文本生成技術(shù)的理想場所。這個領(lǐng)域有明確的方向和目的，主體單一，遵循一個相當(dāng)標(biāo)準(zhǔn)的結(jié)構(gòu)，而且不長。（虛假點(diǎn)評越長，越容易被發(fā)現(xiàn)問題）
但技術(shù)不會止步于此。
所以，我們只是從在線點(diǎn)評開始。你能相信某某人說的那些關(guān)于餐館、商品的話嗎？但這類研究還會繼續(xù)進(jìn)步。
它會進(jìn)步到更大的攻擊，可能博客上的整篇文章都完全是由機(jī)器人根據(jù)某個主題自動生成的，這時候你就真的得想想信息是哪來的、如何驗(yàn)證這是我們所有人過些年將要面對的，一個更大的挑戰(zhàn)。
趙燕斌說他想傳遞的信息很簡單：我希望人們能關(guān)注這類攻擊途徑，把它們看做真實(shí)、迫切的威脅，如果Yelp、亞馬遜這些網(wǎng)站的工程師們還沒有開始考慮如何抵御，他希望他們立刻開始思考。
教授希望我們希望能吸引更多注意，不僅為了設(shè)計(jì)出能防御這類攻擊的系統(tǒng)，還想讓更多人從平凡的視角，看到‘好AI’帶來的威脅。
我認(rèn)為，那么多人都在關(guān)注奇點(diǎn)、天網(wǎng)這些引人注目的AI威脅，但是那些很好很好的AI，能帶來很多更實(shí)際的、有顯示影響的威脅，而這只是冰山一角。
他補(bǔ)充說：所以，我以希望安全界的人能和我一起，關(guān)注這類問題，這樣我們才有希望趕上。我認(rèn)為，AI以驚人的速度和加速度在發(fā)展，如果我們不立刻開始研究如何抵御，庫卡機(jī)器人，可能永遠(yuǎn)都趕不上了。
芝加哥大學(xué)趙燕斌教授
是真是假？
最后，來個小測驗(yàn)吧。
這有六個案例，其中有一些是神經(jīng)網(wǎng)絡(luò)生成的虛假點(diǎn)評，其他的是真實(shí)的人類點(diǎn)評。你看看是否能分辨出來是真是假。
1、我最喜歡去的意大利餐廳。大愛這家菜品，一切都很棒。我推薦生牛肉配蘆筍�？上КF(xiàn)在名氣太大了，越來越難在黃金時間預(yù)定到座位。
2、我們?nèi)叶际沁@間餐廳的超級粉絲。工作人員非常奈斯，食物很棒。雞肉非常好吃，蒜汁堪稱完美。上面配有水果的冰淇淋也很美味。強(qiáng)烈推薦！
3、每年圣誕節(jié)我都來，最愛意大利面！物有所值！
4、非常好的披薩、烤寬面條以及最好吃的扇貝之一。甜品很大很美味。
5、這的食物好吃得驚人，分量也很大。芝士百吉餅做得非常完美，新鮮又美味！服務(wù)很快。毫無疑問是我們最愛的地方！我們還會回來的！
6、我來這吃飯已經(jīng)一年半了，除了好吃我無話可說。我總是點(diǎn)披薩，意大利牛肉也很好，給我留下深刻印象。服務(wù)非常出色。是我見過的服務(wù)最好的餐廳。強(qiáng)烈推薦。
你看出哪些點(diǎn)評有問題了么？