曾被嫌弃的預訓練任務NSP,做出了優秀的Zero Shot效果

智源社區 2021-09-19 23:04:21 阅读数:467

嫌弃 nsp 做出 出了 zero

在五花八門的預訓練任務設計中,NSP(Next Sentence Prediction) 通常認為是比較糟糕的一種,因為它難度較低,加入到預訓練中並沒有使下遊任務微調時有明顯受益,甚至 RoBERTa 的論文顯示它會帶來負面效果。所以,後續的預訓練工作一般有兩種選擇:一是像 RoBERTa 一樣幹脆去掉 NSP 任務,二是像 ALBERT 一樣想辦法提高 NSP 的難度。也就是說,一直以來 NSP 都是比較“讓人嫌弃”的。

不過,反轉來了,NSP 可能要“翻身”了。最近的一篇論文《NSP-BERT: A Prompt-based Zero-Shot Learner Through an Original Pre-training Task--Next Sentence Prediction》(下面簡稱 NSP-BERT)顯示 NSP 居然也可以做到非常不錯的 Zero Shot 效果!這又是一個基於模版(Prompt)的 Few/Zero Shot 的經典案例,只不過這一次的主角是 NSP。

有意思的是,對於我們來說,NSP-BERT 是非常“接地氣”的良心工作。比如,它是中國人寫的,它的實驗任務都是中文的(FewCLUE 和 DuEL2.0),並且開源了代碼。

 

論文地址:

https://arxiv.org/abs/2109.03564

代碼地址:

https://github.com/sunyilgdx/NSP-BERT

版权声明:本文为[智源社區]所创,转载请带上原文链接,感谢。 https://gsmany.com/2021/09/20210919230421140v.html