特拉維夫大學、臉書|提取式問答的貪婪解碼有多好?

作者:德周 2021-08-15 16:07:16 阅读数:897

本文一共[544]字,预计阅读时长:1分钟~
提取 多好

標題:特拉維夫大學、臉書|How Optimal is Greedy Decoding for Extractive Question Answering?(提取式問答的貪婪解碼有多好?)

推薦理由:作者提出的精確提取算法在多項問答數據集中取得接近最有和最優效果

簡介:微調的語言模型使用貪婪解碼來相對成功地回答閱讀理解問題。但是,這種方法並不能確保答案是在給定的段落中的短句,也不保證它是最可能的。做貪婪解碼實際上比段落提取算法差嗎?研究最優性貪婪解碼和性能,我們提出"精確提取",一種解碼算法,可以有效地找到文章中最可能的答案跨度。我們比較T5與兩種解碼算法在零樣本和少樣本上的抽取式問答性能,當沒有訓練樣本時,精確提取明顯優於貪婪解碼;然而,有可用的訓練樣本時,引入一些訓練示例貪婪解碼迅速收斂到精確提取的性能,隨著訓練集增長,貪婪解碼變得更具提取性,並且越來越有可能生成最可能的跨度。我們還錶明,自我監督訓練可以使模型偏向於提取行為,提高性能零樣本設置而不求助於帶注釋的示例。總的來說,我們的結果錶明預訓練的語言模型非常擅長自適應抽取式問答,即通常對貪婪算法的小型訓練集進行微調就滿足最優解碼策略。

代碼下載:https://github.com/ocastel/exact-extract

論文下載:https://arxiv.org/pdf/2108.05857v1.pdf

版权声明:本文为[作者:德周]所创,转载请带上原文链接,感谢。 https://gsmany.com/2021/08/20210815160652876e.html