- 大規模言語モデルは印象的な機能を持っているが、時々「幻覚」を引き起こし、誤った情報を生成することがある。
- この幻覚の問題により、LLMの応答はしばしば人間のファクトチェッカーによって検証される。
- MITの研究者は、ユーザーフレンドリーなシステムSymGenを作成し、LLMの応答を迅速に検証できるようにした。
- SymGenを使用すると、LLMはソースドキュメント内の特定の場所に直接ポイントする引用を含む応答を生成する。
- ユーザーは、テキスト応答の強調された部分にホバーして、その単語やフレーズを生成するためにモデルが使用したデータを表示できる。
- 非強調部分は、チェックと検証が必要なフレーズを示す。
- 電気工学およびコンピュータサイエンスの大学院生であり、SymGenに関する論文の共同リード著者であるShannon Shen氏は、「テキストの部分的な焦点を置く能力を提供し、情報が検証されていることを簡単に確認できるため、SymGenはモデルの応答に対する人々の信頼を高めることができる」と述べている。
この研究では、幻覚問題に対処するためにSymGenというツールが開発され、人間の検証者がLLMの応答を効率的に確認できるようになった。テキストの部分的な焦点を置くことで、情報が検証されていることに対する信頼度を高めることができる点が特に興味深い。
元記事: https://www.miragenews.com/making-it-easier-to-verify-ai-models-responses-1341128/