虎嗅註：刷微博時突然發現，平時關註的一眾段子手們都在為一條有關谷歌翻譯的消息歡呼雀躍，有人發出感嘆“是不是以後都不用學英語瞭”：
谷歌翻譯的重大突破是什麼？這一切是如何發生的？其實昨天谷歌就已經發表瞭相關論文，介紹瞭自己最新的神經機器翻譯系統（GNMT），以及新系統的工作原理。
本文轉載自機器之心微信公眾號（ID：almosthuman2014），原文作者：Quoc V. Le、Mike Schuster，機器之心編譯，參與：吳攀。
昨日，谷歌在 ArXiv.org 上發表論文《Google`s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation》介紹谷歌的神經機器翻譯系統（GNMT），當日機器之心就對該論文進行瞭摘要翻譯並推薦到網站（www.jiqizhixin.com）上。今日，谷歌 Research Blog 發佈文章對該研究進行瞭介紹，還宣佈將 GNMT 投入到瞭非常困難的漢語-英語語言對的翻譯生產中，引起瞭業內的極大的關註。
十年前，我們發佈瞭 Google Translate（谷歌翻譯），這項服務背後的核心算法是基於短語的機器翻譯（PBMT:Phrase-Based Machine Translation）。自那時起，機器智能的快速發展已經給我們的語音識別和圖像識別能力帶來瞭巨大的提升，但改進機器翻譯仍然是一個高難度的目標。
今天，我們宣佈發佈谷歌神經機器翻譯（GNMT：Google Neural Machine Translation）系統，該系統使用瞭當前最先進的訓練技術，能夠實現到目前為止機器翻譯質量的最大提升。我們的全部研究結果詳情請參閱我們的論文《Google`s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation》。
幾年之前，我們開始使用循環神經網絡（RNN：Recurrent Neural Networks）來直接學習一個輸入序列（如一種語言的一個句子）到一個輸出序列（另一種語言的同一個句子）的映射。其中基於短語的機器學習（PBMT）將輸入句子分解成詞和短語，然後很大程度上對它們進行獨立地翻譯，而神經機器翻譯（NMT）則將整個輸入句子視作翻譯的基本單元。這種方法的優點是：相比於之前的基於短語的翻譯系統，這種方法所需的工程設計更少。當其首次被提出時，NMT 在中等規模的公共基準數據集上就達到瞭可與基於短語的翻譯系統媲美的準確度。
自那以後，研究者已經提出瞭很多改進 NMT 的技術，其中包括模擬外部對準模型（external alignment model）來處理罕見詞 ，使用註意（attention）來對準輸入詞和輸出詞 以及將詞分解成更小的單元以應對罕見詞 。盡管有這些進步，但 NMT 的速度和準確度還沒能達到成為 Google Translate 這樣的生產系統的要求。我們的新論文 描述瞭我們怎樣克服瞭讓 NMT 在非常大型的數據集上工作的許多挑戰，以及我們如何打造瞭一個在速度和準確度上都已經足夠能為谷歌的用戶和服務帶來更好的翻譯的系統。
來自對比評估的數據，其中人類評估者對給定源句子的翻譯質量進行比較評分。得分范圍是 0 到 6，其中 0 表示「完全沒有意義的翻譯」，6 表示「完美的翻譯」。
下面的可視化圖展示瞭 GNMT 將一個漢語句子翻譯成英語句子的過程。首先，該網絡將該漢語句子的詞編碼成一個向量列表，其中每個向量都表征瞭到目前為止所有被讀取到的詞的含義（「編碼器（Encoder）」）。一旦讀取完整個句子，解碼器就開始工作——一次生成英語句子的一個詞（「解碼器（Decoder）」。為瞭在每一步都生成翻譯正確的詞，解碼器重點註意瞭與生成英語詞最相關的編碼的漢語向量的權重分佈（「註意（Attention）」，藍色鏈接的透明度表示解碼器對一個被編碼的詞的註意程度）。
使用人類評估的並排比較作為一項標準，GNMT 系統得出的翻譯相比於之前的基於短語的生產系統實現瞭極大的提升。在雙語人類評估者的幫助下，我們在來台北靜電油煙機租賃自維基百科和新聞網站的樣本句子上測定發現：GNMT 在多個主要語言對的翻譯中將翻譯誤差降低瞭 55%-85% 以上。
我們的系統產出一個翻譯案例，其輸入句子采樣自一個新聞網站。點擊這個地址可以看到更多隨機采樣自新聞網站和書籍的輸入句子翻譯樣本。
今天除瞭發佈這份研究論文之外，我們還宣佈將 GNMT 投入到瞭一個非常困難的語言對（漢語-英語）的翻譯的生產中。
現在，移動版和網頁版的 Google Translate 的漢英翻譯已經在 100% 使用 GNMT 機器翻譯瞭——每天大約 1800 萬條翻譯。GNMT 的生產部署是使用我們公開開放的機器學習工具套件 TensorFlow 和我們的張量處理單元（TPU：Tensor Processing Units），它們為部署這些強大的 GNMT 模型提供瞭足夠的計算算力，同時也滿足瞭 Google Translate 產品的嚴格的延遲要求。
漢語到英語的翻譯是 Google Translate 所支持的超過 10000 種語言對中的一種，在未來幾個月，我們還將繼續將我們的 GNMT 擴油煙處理機出租展到遠遠更多的語言對上。
機器翻譯還遠未得到完全解決。GNMT 仍然會做出一些人類翻譯者永遠不出做出的重大錯誤，例如漏詞和錯誤翻譯專有名詞或罕見術語，以及將句子單獨進行翻譯而不考慮其段落或頁面的上下文。為瞭給我們的用戶帶來更好的服務，我們還有更多的工作要做。
但是，GNMT 代表著一個重大的裡程碑。我們希望與過去幾年在這個研究方向上有所貢獻的許多研究者和工程師一起慶祝它——不管是來自谷歌還是更廣泛的社區。
Google Brain 團隊和 Google Translate 團隊都參與瞭該項目。Nikhil Thorat 和 Big Picture 也幫助瞭該項目的可視化工作。
論文：Google s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation
靜電油煙機租賃
摘要：神經機器翻譯（NMT: Neural Machine Translation）是一種用於自動翻譯的端到端的學習方法，該方法有望克服傳統的基於短語的翻譯系統的缺點。不幸的是，眾所周知 NMT 系統的訓練和翻譯推理的計算成本非常高。
另外，大多數 NMT 系統都難以應對罕見詞。這些問題阻礙瞭 NMT 在實際部署和服務中的應用，因為在實際應用中，準確度和速度都很關鍵。我們在本成果中提出瞭 GNMT——谷歌的神經機器翻譯（Google s Neural Machine Translation）系統來試圖解決許多這些問題。我們的模型由帶有 8 個編碼器和 8 個解碼器的深度 LSTM 網絡組成，其使用瞭註意（attention）和殘差連接（residual connections）。
為瞭提升並行性從而降低訓練時間，我們的註意機制將解碼器的底層連接到瞭編碼器的頂層。為瞭加速最終的翻譯速度，我們在推理計算過程中使用瞭低精度運算。為瞭改善對罕見詞的處理，我們將詞分成常見子詞（sub-word）單元（詞的組件）的一個有限集合，該集合既是輸入也是輸出。
這種方法能提供「字符（character）」-delimited models 的靈活性和「詞（word）」-delimited models 的有效性之間的平衡、能自然地處理罕見詞的翻譯、並能最終提升系統的整體準確度。我們的波束搜索技術（beam search technique）使用瞭一個長度規范化（length-normalization）過程，並使用瞭一個覆蓋度懲罰（coverage penalty），其可以激勵很可能能覆蓋源句子中所有的詞的輸出句子的生成。
在 WMT 14 英語-法語和英語-德語基準上，GNMT 實現瞭可與當前最佳結果媲美的結果。通過在一個單獨的簡單句子集合的人類對比評估中，它相比於谷歌已經投入生產的基於短語的系統的翻譯誤差平均降低瞭 60%。
*文章為作者獨立觀點，不代表虎嗅網立場
本文由 機器之心 授權 虎嗅網 發表，並經虎嗅網編輯。轉載此文章須經作者同意，並請附上出處(虎嗅網)及本頁鏈接。原文鏈接https://www.huxiu.com/article/165513.html
本文來源：虎嗅網
責任編輯："王曉易_NE0011"
- 新竹靜電機出租 【省錢達人分享】推薦油煙處理機租賃廠商～油煙處理機也可以月租喔
- 油煙靜電機出租 油煙靜電機租賃推薦~省錢達人告訴你
- 油煙靜電機出租 【省錢達人分享】推薦油煙處理機租賃廠商～油煙處理機也可以月租喔
全站熱搜
留言列表
