- 大規模な言語モデルを使用して様々なタスクを実行
- 大規模な言語モデルは時々不正確な応答を生成する場合がある
- MITとMIT-IBM Watson AI Labの研究者が大規模な言語モデル向けにThermometerというキャリブレーション手法を紹介
- Thermometerは他の手法より効率的で、モデルの精度を維持し、未知のタスクに対してより適切にキャリブレーションされた応答を生成
- Thermometerモデルはタスクごとのデータ点の予測をキャリブレートするために大規模な言語モデルの一部にアクセスする
Thermometerは大規模な言語モデルの効率的なキャリブレーションを可能にし、ユーザーにモデルの信頼性を示す明確なシグナルを提供することができます。
元記事: https://www.sciencedaily.com/releases/2024/08/240801121940.htm