標題：國家特裏希理工學院、Nference|AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing （AMMUS :基於變換器的預訓練模型的自然語言應用綜述)

簡介：基於變換器的預訓練語言模型幾乎在所有 NLP 任務中都取得了巨大成功。這些模型的演變始於GPT和BERT。這些模型建立在變換器之上，自監督學習和遷移學習。基於遷移的PLM使用以下方法：從大量文本數據中自監督學習學習通用語言錶示，並將這些知識遷移到下遊任務中。這些模型提供了良好的背景知識，避免從頭開始訓練下遊模型的下遊任務。在這篇綜述論文中，我們最初給出了一個自監督學習的簡要概述；接下來，我們解釋各種核心概念，如預訓練、預訓練方法、預訓練任務、嵌入和下遊適應方法；接下來，我們提出了T-PLM的新分類，然後簡要概述包括內在和外在的各種基准；我們總結了各種與T-PLM一起使用的有用庫。最後，我們强調了一些未來的研究方向，這些方向將進一步改進這些模型。我們堅信這篇綜述論文將作為學習核心概念以及了解基於變換器的預訓練語言模型最新動態的良好參考。

論文下載：https://arxiv.org/pdf/2108.05542v1.pdf