8篇文章审稿经历及对AI审稿现状的看法

总共审查了8篇文章，其中5篇是正常分配的，3篇为紧急审查（Emergency Review）。每一篇我都认真审查了，在花费的时间方面，看文章加上写审查意见（Review）从半个多小时到一个半小时不等，质量似乎良莠不齐。

有三篇与代码相关的工作。其中两篇长文属于渐进式（incremental）的那种，所以给了比较中等的分数。还有一篇关于DiffusionLM的短文，有点创新性，写得也很棒，作为短论文其实验也足够充分，所以在这八篇里唯独这篇给了44分。不过另外两位审稿人好像不太识货或者比较苛刻，有一个给了22分，还坚持要拿小模型以及StarCoder和CodeT5 +来比较性能……
接着是两篇与大型语言模型（LLM）推理相关的文章。其中有一篇知识增强型LLM的文章，和自己五月份在NIPS（神经信息处理系统大会）上发表的文章有一些共同的创新点，所以看得比较细致，发现了不少问题，但由于整体还不错，最终也给了33分，并且承诺在反驳期会回来查看并修改分数。另一篇四页的短文，内容都没写满，文章逻辑不通，还满是语法错误和拼写错误，于是给了这次审稿中唯一一个22分。
然后，有三篇被分配的紧急审稿任务（Emergency）。收到这些任务的时候，我刚刚应付完NIPS的审稿人，那时的我真的是一点都不想再看文章了（之前忙得晕头转向，都忘了在Google Sheet里把自己的状态设为不能审稿了）。但是第二天，AC（学术会议的领域主席）就开始往邮箱里发催审信了，没办法，我只能赶忙把文章都看了一遍。其中有一篇立场论文（position paper）探讨了自然语言处理（NLP）的未来，主题挺新颖的，可讨论得太浅显了，所以我给了相对较低的分数，还建议作者另投他处。另外有一篇关于NLP安全性（NLP Safety）的文章，由于我之前从未涉足过这个领域，看的时候感觉一头雾水。虽然我审得很认真，但还是把信心指数（confidence）调到了3。考虑到紧急审稿（Emergency Review）的文章可能没有按照审稿人的偏好来分配，事后我还特意查看了另外两位审稿人的打分，看到是在同一个分布区间，这才放心了。
感觉AI仍将处于快速扩张阶段，未来几年缺少优秀审稿人会是常态。又听说这次AAAI投稿量超14000篇，真让人无语又无奈。不过就我自己来说，虽然改变不了什么，但我觉得自己的审稿质量对得起作者的努力，也盼望自己投的几篇文章能被审稿人认真对待。