- 2024年3月に、複数のLLMの共感能力を比較するベンチマークを公開
- 新しいモデルの登場とともに、ChatGPT、Llama、Gemini、Claudeのアップグレードなど、大きな進歩
- LLMの共感能力に影響を与える要因を探るため、発話応答の使用やプロンプトの改良、ヒューストン大学との協力による形式的研究を実施
自身のQ3の調査結果の要約を提供
- ChatGPT 4.0、1.0、Claude 3+、Gemini 1.5、Hume 2.0、Llama 3.1をカバー
- Emyのアプローチを使用して構成されたモデルと生のモデルの両方をテスト
- 新しい測定指標であるApplied Empathy Measure（AEM）を導入
感想：
- AIの共感能力を測定する試みや新たな指標の導入など、AIの感情理解に関する研究は重要であると感じる。
- 性別による共感能力の差やシステマイズ傾向がAIに影響を与えることが示唆されており、AIの進化を考える上で興味深い結果だ。
元記事: https://hackernoon.com/testing-the-depths-of-ai-empathy-q3-2024-benchmarks