- LLMs like ChatGPT and Gemini have impressive reasoning and answering capabilities but often produce “hallucinations,” generating false or unsupported information.
- Efforts to reduce errors through supervision or reinforcement have seen limited success in critical fields like law and medicine.
- Confabulations, arbitrary or incorrect responses by LLMs to identical queries, pose challenges distinct from training errors or reasoning failures.
- Researchers from the University of Oxford developed a statistical approach using entropy-based uncertainty estimators to detect confabulations in LLMs.
- The method clusters similar answers based on meaning, measuring entropy to identify unreliable outputs and enhance semantic consistency detection.
- This technique has shown significant improvements in detecting and filtering unreliable answers across various domains like trivia, general knowledge, and medical queries.
この研究では、LLM（Large Language Models）であるChatGPTやGeminiは驚異的な推論力と回答力を示しますが、「幻覚」を生じることがあり、虚偽または未サポートの情報を生成します。監督や強化を通じてエラーを減らす取り組みは、法律や医学などの重要分野で限られた成功を収めています。LLMが同一のクエリに対して任意または不正確な応答を生成する「confabulations」は、訓練エラーや推論の失敗とは異なる課題を提起します。オックスフォード大学のOATMLグループの研究者たちは、LLMにおける特定のエラータイプである「confabulations」を検出する統計的アプローチを開発しました。