1780億個參數,能識別25萬個詞條,這個語言模型的誕生只為挑戰王者GPT-3?

新智元 2021-08-16 01:31:07 阅读数:928

本文一共[544]字,预计阅读时长:1分钟~
模型 王者 gpt-3 gpt

新智元報道

來源:AI21 Labs

編輯:Priscilla 好困

【新智元導讀】最近,AI21 Labs正計劃發布一個比GPT-3更大的模型,名叫「Jurassic-1」,可以識別25萬個詞條,參數達到1780億個!目的是要挑戰自問世以來就占領了NLP主導地比特的GPT-3,Jurassic-1究竟實力如何?一起來看看吧。

有人要膽敢挑戰GPT-3壟斷地比特!

GPT-3自問世以來就成為了最大的AI語言模型之一。

不僅可以寫電郵、寫文章、創建網站、甚至是生成用於Python深度學習的代碼。

最近,一個名叫「侏羅紀」模型號稱可以打敗GPT-3。

究竟是誰這麼有勇氣,居然敢如此叫囂?

不是侏羅紀公園的恐龍!是Jurassic-1 Jumbo,還在公測的語言模型!

現在還可以免費體驗:https://studio.ai21.com/playground

除了能將Python代碼轉成Javascript,這個語言模型還有什麼過人之處?

膽大,但有實力

在機器學習中,參數是模型的一部分,從曆史訓練數據中學來的。

一般來說,在語言領域,參數越多,模型就越複雜。

Jurassic-1 Jumbo這個模型包含了1780億個參數。

一下子就甩開GPT-3足足30億個參數!

在詞匯項目上,GPT-3有50000個。

但Jurassic-1可以識別包括錶達式、單詞和短語等共250000個。

涵蓋範圍比GPT-3在內的大多數現有模型更大。

Jurassic-1模型經過雲訓練,在一個公共服務上有數百個分布式GPU。

token是一種在自然語言中將文本片段分成更小的單元的方法,它可以是單詞、字符或單詞的一部分。

而Jurassic-1訓練數據集就有3000億個token,全都是從維基百科、新聞出版物、StackExchange等英語網站編譯而來的。

模型的訓練采用傳統的自監督和自回歸的形式,對來自公開資源的3000億個token進行訓練。

優化程序方面,研究人員對J1-Large和J1-Jumbo分別使用了1.2×10-4和0.6×10-4的學習率,以及200萬和320萬個token的批大小。

平均每字節對數概率錶明模型在不同領域的適用性

研究人員錶示,在幾乎所有的語料庫中,Jurassic-1模型都領先於GPT-3。

在小樣本學習的測試上則各有輸贏,不過平均得分兩個模型持平。

在基准測試中,Jurassic-1回答學術和法律問題的錶現已經能與GPT-3相當,甚至錶現得更好。

GPT-3需要11個token,但Jurassic-1只需要4個,樣本效率大大增加。

當然,對於語言模型來說,最困難的莫過於邏輯和數學問題。

而Jurassic-1 Jumbo已經可以解决兩個大數相加這種非常簡單的算術問題。

Jurassic可以解釋某個單詞的意思

在各種各樣的語言模型面前,Jurassic-1 Jumbo最多只能算是個後起之秀,也不是什麼新奇的模型了。

不過和它的前輩們類似,如果問題描述不清,大概率出現的答案並不是你想要的。

堪稱產品經理終結者。

偏見起來連自己人都「打」

Jurassic-1模型由AI21 Labs公司開發,會通過AI21 Labs的Studio平臺提供服務。

開發人員可以在公開測試版中構建虛擬代理和聊天機器人等應用程序原型。

除此之外,在公測版中,Jurassic-1模型和Studio還能用於釋義和總結,比如從產品描述中生成簡短的產品名稱。

根據新聞內容給新聞分類

同時,開發者還可以訓練自己的Jurassic-1模型,甚至只需要50-100個訓練實例。

訓練完成之後,就可以通過AI21 Studio使用這個自定義模型。

但是Jurassic-1也一樣面臨其它語言模型的「痛點」:對於性別、種族和宗教的偏見。

由於模型訓練數據集中或多或少都會存在偏見,訓練出來的模型也會跟著「學壞」。

有研究人員指出,GPT-3等類似的語言模型生成的文本可能會激化極右翼極端主義意識形態和行為。

Jurassic模型的輸出面臨預設場景問題

針對這一點,AI2 Labs就在限制可以在公測中生成的文本數量,打算手動審查每個微調模型。

不過就算是經過微調的模型也難以擺脫訓練過程中「染上的惡習」。

就像Open AI的Codex,還是一樣會生成種族主義或者其它令人反感的可執行代碼。

雖然是以色列的研究人員開發的,但大概是受訓練數據集的影響,Jurassic-1似乎對猶太人的歧視比GPT-3還更重一些。

在偏見與歧視這個問題上,各個模型都是「五十步笑百步」。

不過AI21 Labs的工程師則錶示,Jurassic-1模型的偏見比GPT-3少那麼一丟丟。

參考資料:

https://www.ai21.com/blog/ai21-studio-use-cases

版权声明:本文为[新智元]所创,转载请带上原文链接,感谢。 https://gsmany.com/2021/08/20210816013014918b.html