要約:
- Patronus AIは、Anand KannappanとRebecca Qianによって設立され、metamachine learning（ML）の経験豊富なプロフェッショナル2人が開発した自動評価プラットフォームを作成
- このプラットフォームは、LLMの出力に幻覚、著作権侵害、および安全問題を検出すると主張
- Patronus AIは、現在のLLMの深刻な問題を明らかにし、既存のトップモデルの能力に衝撃的な欠陥を暴露
- Patronusは、「FinanceBench」ベンチマークを作成し、最高成績を収めたモデルでも質問の19%しか正しく回答できなかったことを発見
- Patronus AIは、教育、ソフトウェア、自動車、金融などの分野の多くのFortune 500企業がLLMを組織内で「安全に」使用するのを支援
感想:
Patronus AIの取り組みは、現在のLLMの課題を浮き彫りにし、企業が安全にAIを活用する上で重要な役割を果たしているように思います。ただし、最新のモデルでも課題が残ることが明らかになっており、AIの発展に伴う課題解決がますます重要になっていると感じます。