李飛飛點贊的NeurIPS新賽道,剛剛公布了第一批數據集&benchmark入圍名單

分享者:常政 2021-08-15 23:04:12 阅读数:469

本文一共[544]字,预计阅读时长:1分钟~
neurips 公布 第一批 第一 一批

博雯 發自 凹非寺
量子比特 報道 | 公眾號 QbitAI
今年4月份時,NeurIPS 2021曾宣布專門為數據集和基准測試推出一個新Track。

而現在,第一批數據集和基准終於公布了。

這次公布的內容包括一般數據集、NLP方向數據集、仿真環境和數據生成器、元分析和AI公平性、基准這五個方向。

入圍的共有62篇論文。

入圍的數據集和基准
在一般類的數據集上,共入圍11篇:

主要為文本、語言、語音類的NLP數據集方向則有13篇:

仿真環境和數據生成器方向有11篇:

元分析和AI公平性上有7篇:

而最後在基准方面共有20篇:

新賽道規則:第二輪8月27日截止
對這一新Track所提交的材料,除了主會議論文之外,還應該提交補充材料:

像是如何收集和組織數據、其中包含何種信息、如何在合乎道德地使用數據,以及如何提供和維護數據等等。

提交是單盲的,而審查是開放的,

NeurIPS 2021會以主會議的標准進行嚴格審查。

只是其審查准則會適用於數據集和基准測試。

今年共有兩次提交日期,允許連續提交。其中第一輪已截止。

第二輪提交的截止日期在8月27日,10月8日通知論文作者結果:

數據集和基准也需要審查規則
這一新Track是今年4月份,由NeurIPS的數據&基准主席Joaquin Vanschoren宣布的:

消息發出後,李飛飛教授錶示贊賞:終於在ImageNet的12年之後見到了這一天。

在此之前,NeurIPS錶示,現在社區內更關注算法設計,但往往不能輕易找到好的數據集。

這樣,很多算法都只是在沒有實際意義,或數據存在偏差的情况下進行評估的。

而在NeurIPS會議中,每年接受的論文中所提出的新的數據集少於5個,專注於在廣泛的數據集上對算法進行系統性基准測試的也只有10個。

這也是NeurIPS開辟這一新Track的主要目的,他們錶示:

我們建議在NeurIPS開辟一條新的賽道,作為數據和基准測試的孵化器。

它將作為出版物、會談和海報的場所,也是討論如何更廣泛地改進數據集開發和面向數據的工作的論壇。

公布名單:
https://blog.neurips.cc/2021/08/12/updates-on-the-neurips-2021-datasets-and-benchmarks-track/

提交規則:
https://neurips.cc/Conferences/2021/CallForDatasetsBenchmarks

參考鏈接:
https://neuripsconf.medium.com/announcing-the-neurips-2021-datasets-and-benchmarks-track-644e27c1e66c

版权声明:本文为[分享者:常政]所创,转载请带上原文链接,感谢。 https://gsmany.com/2021/08/20210815230342307u.html