放話挑戰GPT-3!以色列推出參數多30億、詞條多5倍的新語言模型|公測不用排隊

分享者:常政 2021-08-15 23:04:10 阅读数:235

本文一共[544]字,预计阅读时长:1分钟~
gpt-3 gpt 以色列 推出 模型

豐色 發自 凹非寺
量子比特 報道 | 公眾號 QbitAI
GPT-3有多厲害不用多說了吧?

現在,以色列特拉維夫一家AI公司——AI21 Labs錶示要挑戰一下這個巨星在NLP領域的主導地比特。

他們計劃發布一個比GPT-3還要大的模型,且目前不用排隊苦苦申請,所有人都可以免費“調教”。

大多少呢?

GPT-3模型擁有1750億個參數,而他們這個叫做Jurassic-1(侏羅紀-1)的模型有1780億個。

GPT-3模型的詞匯錶有5萬個token,而Jurassic-1使用的詞匯錶則有25萬個!

對所有人開放,訓練只需提供50-100個樣本
Jurassic-1模型的訓練數據包括3000億個tokens,由維基百科、新聞出版物、StackExchange(問答網站)和OpenSubtitles(全球最大的多國語言開放字幕庫)上的信息編譯而來。

在雲上經過數百個GPU的分布式訓練而成,由於最終存儲1780億個參數需要超過350GB的內存,這就要求開發團隊使用多種策略來盡可能提高流程的效率。

而减少文本錶示所需的token數就是一個好辦法。

Jurassic-1使用的詞匯錶不僅包括了完整詞和分詞(word piece),還挖掘了一些不太常見的詞或詞組,比如“紐約洋基隊”、“run of the mill(習語,平庸的)”、國家元首名字。

這也是Jurassic-1成為第一個使用包含多詞匯 (muti-word) token的語言模型。

這就讓模型的效率提上來了,比如“Once in a while I like to visit New York City”這句,GPT-3需要使用11個token來錶示,而Jurassic-1只需4個。

Jurassic-1模型的規模大了30億參數,GPT-3能幹的活它自然也“不甘示弱”:生成“人話”自不用說,文本轉錶格、話題分類、Python轉JavaScript、從產品描述中生成簡短的產品名稱、寫歌、算數等從簡單到複雜的任務都能hold住。

△ Jurassic-1重新解讀商場“黑話”

△ Jurassic-1寫博客

性能如何呢?

實驗顯示,Jurassic-1模型在一系列任務中的錶現與GPT-3相當或更好 (尤其是在回答學術和法律問題方面)。

下錶說明了在幾乎所有的語料庫中,Jurassic-1模型的適用性都大幅領先對手GPT-3。

△各種預料庫中每個字節的平均對數概率(log-probabilities)
此外,與GPT-3相比,Jurassic-1在零樣本學習中與之性能持平,但在少樣本學習中略勝一籌,這也是因為它的tokenizer可以在相同的上下文長度中容納更多的文本,因此可以在prompt中包含更多的示例。

△零樣本實驗結果

△少樣本實驗結果
現在,Jurassic-1模型的公測版本已通過AI21 Labs的Studio平臺提供給開發人員使用,大家訓練只需提供50-100個樣本,就能搭建一些諸如聊天機器人的應用程序原型。

無論你是大中小企業、研究員、自由職業者還是什麼身份,所有人都可以不用排隊申請就能使用。

如果有人希望上線自己搭出來的成果,獲得生產規模流量,可申請訪問定制模型並獲得私有微調版本,在一個“按量付費” (pay-as-you-go )的雲服務模式中使用。

ps.多少人申請的GPT-3 API一直是still waiting的狀態?

不過,至於如何將模型定制到新任務上,AI21 Labs錶示這是個秘密,但反正過程會比標准微調技術更具有魯棒性。

因此,模型不太會容易“大面積失憶”,也就是在新任務上的繼續微調不會丟失此前編進去的信息。

雖然自己罵自己,但它的語言偏見略低於GPT-3
可能你也會說,Jurassic-1在根本上也沒啥大新奇之處。

但複刻了GPT-3的開源AI研究機構EleutherAI錶示,這是一項工程壯舉,而且他們毫不懷疑Jurassic-1能執行出與GPT-3相當的效果。

不過問題是此類服務能否在激烈的競爭中盈利,以及如何處理不可避免的安全問題,比如模型的語言偏見。

Jurassic-1當然也沒有解决模型輸出潜在的性別、種族和宗教以及其他形式的偏見。

但團隊錶示非常重視這個問題,目前正在限制在公開測試版中可以生成的文本數量,並且將人工審查每個微調模型的請求以防止濫用。

不知道能解决多少問題,反正Jurassic-1連自己人都罵圖片!

就比如下面這個,Jurassic-1生成了歧視猶太人的文本:

最後團隊只是“弱弱”地錶示,通過StereoSet(語言系統中與性別、職業、種族和宗教相關的偏見評估基准)測試發現,Jurassic-1模型的偏見略低於GPT-3。

關於AI21 Labs
以色列一家專注於自然語言處理的AI公司,2017年成立,目前從以色列最大的創投機構Pitango等公司獲得了3450萬美元資金。

創始人包括斯坦福大學名譽教授Yoav Shoham,CrowdX創始人和以色列輔助駕駛系統Mobileye的創始人Amnon Shashua ,目前有40多名員工。

Jurassic-1“調教”地址:

https://studio.ai21.com/playground

 

參考鏈接:

[1]https://www.ai21.com/blog/announcing-ai21-studio-and-jurassic-1

[2]https://venturebeat.com/2021/08/11/ai21-labs-trains-a-massive-language-model-to-rival-openais-gpt-3/

[3]https://uploads-ssl.webflow.com/60fd4503684b466578c0d307/61138924626a6981ee09caf6_jurassic_tech_paper.pdf

 

版权声明:本文为[分享者:常政]所创,转载请带上原文链接,感谢。 https://gsmany.com/2021/08/20210815230342299F.html