新しいオープンソース プラットフォームにより、ユーザーは評価を実行できます | EurekAlert!

要約:

• AIパワードのチャットボットを評価するためのプラットフォーム「CheckMate」が開発された。
• CheckMateは大規模言語モデル（LLMs）のパフォーマンスを人間が評価できるようにする。
• 研究者はCheckMateを使用して、数学の問題を解決するために3つのLLMs（InstructGPT、ChatGPT、GPT-4）を使用する実験を行った。
• LLMsは一般的に正確性と助けに関連があるが、時には不正確な出力でも参加者にとって役立つことがある。

研究者の考え：

LLMsの効果的なアシスタントになるためには、不確実性を伝え、ユーザーの修正に適切に対応し、推奨の簡潔な根拠を提供できるモデルが良い。現在の短所を考慮して、LLMsのユーザーは出力を注意深く検証すべきである。