在同聲傳譯這件事上,Skype是如何擊敗99.9%的地球人的?

責(zé)任編輯:editor004

2014-12-19 10:33:53

摘自:blogs.skype.com

Skype前幾天推出了實時語音翻譯的預(yù)覽版,讓用戶可以跨越語言的障礙暢快交流。其中,語音識別和機器翻譯的訓(xùn)練集數(shù)據(jù)主要有多個來源,包括已翻譯的網(wǎng)頁、帶字幕的視頻、翻譯轉(zhuǎn)錄的一對一對話內(nèi)容等。

Skype前幾天推出了實時語音翻譯的預(yù)覽版,讓用戶可以跨越語言的障礙暢快交流。今天我們就來聊聊微軟是如何做到這一點的。

Skype的翻譯系統(tǒng)主要分三步:首先,把你的實時語音轉(zhuǎn)換成文字;然后,再把文字翻譯成另一種語言的文字;最后,把文字轉(zhuǎn)換成語音。其中,識別實時語音并轉(zhuǎn)換成文字一直是最棘手的部分。

圖像處理和語音識別是深度學(xué)習(xí)發(fā)展的兩個主要方向。近幾年來,由于深度學(xué)習(xí)的進步,語音識別依靠深度神經(jīng)網(wǎng)絡(luò)(deep neural networks)也取得了不少進展。神經(jīng)網(wǎng)絡(luò)在八十年代就已出現(xiàn),但真正開始煥發(fā)光芒是在2012年,Google讓計算機能夠“自我修養(yǎng)”——在一堆視頻里自主學(xué)習(xí)并總結(jié)出貓的概念。

微軟研究員John Platt在接收wired采訪時曾表示,微軟其實很早之前就開始利用神經(jīng)網(wǎng)絡(luò)改善平板電腦的手寫識別精確度了。而Skype實時語音翻譯系統(tǒng)真正的突破在于識別不同用戶間的不同語言不同口音的說話方式。

這一突破發(fā)生在2009年的圣誕節(jié),當(dāng)時微軟在英國哥倫比亞贊助了一個小型研討會,來自多倫多大學(xué)的演講嘉賓Geoff Hinton介紹了自己研究的一種模仿腦神經(jīng)工作原理的機器學(xué)習(xí)模型,這一模型依靠多層次的人工神經(jīng)元,讓機器逐漸理解更加復(fù)雜的概念。微軟聽完介紹后,隨即砸下一筆巨款,讓Hinton的模型可以利用最新的圖形處理器單元進行測試。測試的結(jié)果很棒,語音識別的精確度提升了25%。

Skype的機器學(xué)習(xí)原型通過預(yù)覽階段的大量數(shù)據(jù)進行訓(xùn)練,并優(yōu)化語音識別(SR)和自動化機器翻譯(MT)任務(wù),這些優(yōu)化包括去除語句中的不流利成分(比如“ahs”、“umms”和重復(fù)性的語言)、把文本分段成句子、增加標(biāo)點符號、文本的大小寫等等。

其中,語音識別和機器翻譯的訓(xùn)練集數(shù)據(jù)主要有多個來源,包括已翻譯的網(wǎng)頁、帶字幕的視頻、翻譯轉(zhuǎn)錄的一對一對話內(nèi)容等。此外,很多志愿者向微軟貢獻出的語音對話也是一個非常重要的訓(xùn)練集數(shù)據(jù)來源。同時,Skype的翻譯系統(tǒng)還會記錄用戶的對話內(nèi)容,實現(xiàn)二次利用,以進行數(shù)據(jù)分析,加以學(xué)習(xí)。

在數(shù)據(jù)進入系統(tǒng)之后,機器學(xué)習(xí)軟件會為對話中的單詞建立統(tǒng)計模型,當(dāng)你說到某一個東西時,系統(tǒng)會在統(tǒng)計模型里尋找類似的單詞,并響應(yīng)之前做過的類似的翻譯。實時語音翻譯對用戶對話的環(huán)境很敏感,稍有噪音干擾可能準(zhǔn)確度就會降低很多。這一方面,深度神經(jīng)網(wǎng)絡(luò)有效的減少識別錯誤率,改善了系統(tǒng)的健壯性,讓實時翻譯能夠有更大的應(yīng)用范圍。

至于不同語言的文本翻譯,Skype利用的則是和Bing翻譯一樣的引擎技術(shù):語法和統(tǒng)計模型的結(jié)合使用,同時為特定語言進行特殊的訓(xùn)練。普通的文本翻譯往往要求使用規(guī)范正確的書面語言,而Skype翻譯系統(tǒng)不僅包括Bing翻譯的引擎技術(shù),還額外增加了一層口語化的語言業(yè)務(wù)。

此外,Skype還建立了一套自定義的串連整個流程的架構(gòu),以協(xié)調(diào)系統(tǒng)里多個部分間的運作。如何簡單又高效的運作整個系統(tǒng),也是一門不小的學(xué)問。

Skype的實時語音翻譯系統(tǒng)還面臨著很多挑戰(zhàn),比如語言的變化的速度很快,每個人說話的方式又很獨特,這些都會為實時翻譯造成不少的麻煩。微軟研究院總監(jiān)Vikram Dendi說,截止到星期一,總共已經(jīng)有5萬個用戶注冊了預(yù)覽版Skype翻譯,而一天后,這個數(shù)字變成了兩倍。對于這一種可能會真正改變?nèi)藗兘涣鞣绞降目萍籍a(chǎn)品,越來越多的人為之感到激動。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號