- SalesforceがCRM向けのLLMベンチマークを発表
- このソリューションにより、Salesforceの顧客はLLMモデルをランキングし、最適なGenAIユースケースに適したモデルを選択できる
- LLMベンチマークには、精度、速度、コスト、信頼性と安全性の4つのカテゴリーに基づく包括的な評価フレームワークが活用される
- Salesforceは、LLMベンチマークを通じて、ビジネスがLLMを評価し、Einsteinプラットフォームを活用して最適なモデルを選択し、複数のモデルを使用できるようにすることを期待している
LLMベンチマークは、サービスと販売のユースケースでのみ利用可能であり、その後、SalesforceはCRMアプリ全体に提供を拡大する予定です。Salesforceは、LLMの評価を継続的に前進させ、ChatGPT、Gemini、Llamaなどの代表的な提供物のイテレーションと並んで微調整されたモデルをランク付けすることも約束しています。
LLMベンチマークの導入により、ビジネスは最適なパフォーマンスを示すLLMを監視し、そのような展開のパフォーマンスに新たな洞察を得ることができます。
Salesforceが提供するこのソリューションは、実世界のデータセットと従業員や外部顧客による人間の評価に基づいているため、他社とは異なる特徴があります。
結果として、Salesforceは顧客により良い意思決定を支援し、GenAIの投資を最大限に活用する手助けをすることができます。
私の考え: SalesforceのLLMベンチマークは、CRM市場に包括的なベンチマークをもたらしています。CXベンダーが同様のアプローチを取っているものの、Salesforceの取り組みはリアルワールドのデータと評価に基づいており、顧客に新たな洞察をもたらすことが期待されます。