- 多くのオンラインリーダーボードが、大規模言語モデル（LLM）を公開ベンチマークでランク付けしている。
- Leaderboardsは、特定のGPUで最適に動作するモデルを選ぶのに役立たず、パラメータ数だけで判断することが難しい。
- The Kaitchup’s Leaderboardsは、モデルが推論時にどのくらいのメモリを必要とするか、フルファインチューニングとLoRA時にどのくらいのメモリを必要とするかを示す。
- The Kaitchup’s Leaderboardsにより、ハードウェアに最適なモデルを選択できる。
- リーダーボードは、8 GB、12 GB、16 GB、24 GBのGPUサイズに基づいてモデルをグループ化する。
この記事は、GPUメモリの使用状況に基づいてモデルを比較できる新しいリーダーボードについて紹介しています。特定のGPUで最適に動作するモデルを選ぶための重要な情報を提供しており、ハードウェアに最適なモデルを選択する際に役立つでしょう。
元記事: https://substack.com/home/post/p-150218206%3Futm_campaign%3Dpost%26utm_medium%3Dweb