- Galileo社が最新の大規模言語モデル（LLMs）のランキング「Hallucination Index」を発表
- AnthropicのClaude 3.5 Sonnetが全体的に最も優れたパフォーマンスを示し、短い、中くらい、長いコンテキストのシナリオで優勝
- GoogleのGemini 1.5 Flashがコスト面で最も優れたパフォーマンスと評価
- AlibabaのQwen2-72B-Instructが最も優れたオープンソースモデルとして選出
- GalileoのCEOで共同創業者であるVikram Chatterji氏は、リアルワールドでの使用ケースでモデルをテストすることで、現行のベンチマークが実際のアプリケーションに基づいていない課題に取り組むと述べた
Galileo社の最新のランキング「Hallucination Index」によると、AnthropicのClaude 3.5 Sonnetが今回の最優秀モデルとして選ばれました。GoogleのGemini 1.5 Flashはコスト面で、AlibabaのQwen2-72B-Instructはオープンソースモデルとして評価されました。GalileoのCEOは、モデルをリアルワールドの使用ケースでテストして、適切なモデルを適切な価格で採用するためのデータを提供することが目的だと述べました。