- 2022年後半にリリースされたAIチャットボットChatGPT以降、主要な学会の論文の査読にAIツールが使われる傾向が増加している
- AI生成のレビューは形式的で冗長な傾向があり、以前の論文よりも「称賛できる」といった言葉が10倍多く使用されている
- 2023年と2024年に公開されたコンピューターサイエンスの論文の査読にLLMが関与していることが発見された
- LLMを使用する理由の1つは締め切りに近い査読の割合が高いためであり、既に編集者や査読者が時間的制約に苦しんでいる
- LLMは文法修正や簡単な質問への回答に使用されるべきであり、適切に使用しないと科学的プロセスの信頼性が損なわれる可能性がある
AIが査読において支配的になることを防ぐ最良の方法は、プラットフォームが人間同士の相互作用を促進することである。OpenReviewなどのプラットフォームは、匿名化されたやり取りを通じて質問を解決し、AI時代に適応した革新的でインタラクティブな査読プラットフォームが必要である。
LLMを限られたタスクに自動的に制限することができるようなコミュニティの規範とリソースを確立することで、LLMが査読者や編集者、著者に利益をもたらし、科学的プロセスの信頼性を損なうことなく役立つようにすることが重要である。
元記事: https://www.nature.com/articles/d41586-024-03588-8