久久久一区二区三区捆绑** ,色是在线视频,有码一区二区三区

Facebook AI研究部門在自然語言理解方面的最新突破名為XLM-R，可以處理諸多任務，比如針對包括斯瓦希里語和烏爾都語在內的100種不同語言解答問題。這既表明深度學習模型變得越來越大，還表明它們遇到了現有計算系統中嚴重的資源瓶頸。

Facebook的巨型“XLM-R” 神經網絡經過精心設計，可以針對包括斯瓦希里語和烏爾都語在內的100種不同語言處理單詞問題，但即便使用500個世界一流的英偉達 GPU，它也遇到了計算瓶頸。

隨著機器學習模型變得越來越大，最先進的AI研究繼續遇到傳統計算技術的瓶頸。

這是Facebook AI團隊的研究人員最新的重大研究工作的成果之一。上周，他們發布了有關其發明XLM-R的報告； XLM-R是一種自然語言模型，基于谷歌廣受歡迎的Transformer模型。

題為《大規模的無監督跨語言表示學習》的論文（ https://arxiv.org/pdf/1911.02116.pdf ）發表在arXiv上，論文作者有Alexis Conneau、Kartikay Khandelwal Naman、Goyal Vishrav、Chaudhary Guillaume、Wenzek Francisco Guzmán、Edouard Grave、Myle Ott、Luke Zettlemoyer和Veselin Stoyanov，他們都是Facebook AI研究部門的人員。

XLM-R經過精心設計，能夠在100種不同語言之間進行翻譯。它基于Conneau今年早些時候與Facebook的Guillaume Lample攜手開展的工作，Facebook創建了最初的XLM。他們寫道，這與今年早些時候谷歌研究人員展示的對103種語言進行跨語言訓練的那個系統極為相似。

與以前在各種基準測試任務（比如語言之間的問題解答）方面所做的研究工作相比，這是很大的改進。尤其是，它在所謂的“低資源”語言方面取得了可喜的進步，這些語言沒有太多的文字資料，比如斯瓦希里語和烏爾都語。

但是，盡管使用了500個功能最強大的英偉達GPU，XLM-R仍遇到了資源瓶頸。論文作者們稱之為“多語言詛咒”。如果你將越來越多的語言填塞到單單一個端到端的Transformer中，低資源語言將從中受益，但到了一定程度，每種語言都遇到瓶頸。

這是由于XLM-R很大，它有24層、16個“注意力頭”以及5.5億個參數，不過它仍然容量有限。終究有一天，它可以處理要求它執行的各項任務。

作者們寫道： “模型容量（即模型中參數的數量）由于實際考慮因素而受到限制，比如訓練和推理過程中的內存和速度。 ”

XLM-R被要求處理大量的訓練數據，即使用CommonCrawl程序從網上收集的2.5萬億字節數據。 XLM-R甚至還不是市面上最大的網絡。 OpenAI今年早些時候推出的GPT2其最大版本有48層和15億個參數。正如Facebook的PyTorch負責人Joe Spisak今年初告訴IT外媒ZDNet，網絡變得越來越大。