AI翻譯存在歧視?這里是我們的測試
長假期間,www.whsntf.cn,Twitter上有個消息火爆一時。
吶,就是下面這張圖了。
這張圖被當(dāng)做AI有歧視的證據(jù)。簡而言之,神經(jīng)網(wǎng)絡(luò)在背后提供支持的Google翻譯,在把一句性別中立的語言(此處是土耳其語)翻譯成英文時,會出現(xiàn)非性別中立的情況。或者說,Google翻譯會猜測主語的性別。
在這個案例中,庫卡機(jī)器人驅(qū)動器維修,Google翻譯的結(jié)果是:
她是一個保姆
他是一個醫(yī)生
這條Twitter獲得了上萬的轉(zhuǎn)發(fā),也引發(fā)了本文作者JecelynYeen的注意。Jecelyn是馬拉西亞華人,所以她用馬來語和中文進(jìn)行了幾次測試,其中馬來語是性別中立的語言,而中文是混合的。
下面咱們看看她的測試。
馬來語測試
這是一個簡單的三級測試,測試對象是Google翻譯和微軟翻譯。
Level1:不交代語境
馬來語->英語
Google翻譯和微軟翻譯都給出同樣的結(jié)果,如圖所示:
Level2:交代語境
這次特意在前一句中交代了性別。不過沒什么用,測試結(jié)果同上。
Level3:句號換逗號
這次有一個微小的調(diào)整,兩個句子之間的連接,使用了逗號,代替了句號。
結(jié)果顯示:Google翻譯更勝一籌,完美地翻譯對了主語的性別。
但是微軟翻譯表現(xiàn)不佳,第二句話還是沒有翻譯對。
中文測試
大多數(shù)情況下,中文的代詞一般都表明了性別,所以翻譯結(jié)果相對準(zhǔn)確。
測試結(jié)果略。
所以,這是個問題么?
人工智能(AI)存在性別偏見么?我覺得不是。AI從數(shù)據(jù)中學(xué)習(xí),給予人類設(shè)計的模型返回更符合邏輯的結(jié)果。所以,我認(rèn)為機(jī)器翻譯在統(tǒng)計學(xué)上是正確的。數(shù)據(jù)如下。
比方說上述測試中提到的程序員(Programmer)。來自StackOverflow今年的數(shù)據(jù)顯示,參與調(diào)查的開發(fā)者或程序員中有88.8%是男性。
還有護(hù)士(Nurse)。網(wǎng)站Minoritynurse的數(shù)據(jù)顯示,其上282萬注冊護(hù)士中,只有9.1%為男性。
從這個角度講,AI給出的翻譯結(jié)果是有道理的。
但對我來說,這是一個問題,是一個需要改進(jìn)的方面,庫卡機(jī)器人驅(qū)動器維修,統(tǒng)計學(xué)上的正確并不意味著它是正確的。
那么如何改善?
坦白講我不知道。
CharlesWheelan在《赤裸裸的統(tǒng)計學(xué)》一書中,談到了統(tǒng)計歧視和理性歧視。他提到即便我們建了一種模型,能以80%的正確率識別出毒販,那還有20%無辜的人會被反復(fù)騷擾。我們有時計算正確,但卻導(dǎo)向了一個危險的方向。