- Gemma 3は、Gemmaファミリーの次世代モデルであり、昨年リリースされたGemma 2の後継機である。
- パラメータサイズ1B、4B、12B、27Bの範囲で提供され、128Kトークンの長いコンテキストウィンドウをサポート。
- Gemma 3は、ビデオ、画像、テキストの解析が可能で、35言語をネイティブでサポートし、140言語の事前トレーニングも提供。
- Gemma 3 27Bは、Chatbot ArenaでDeepSeek-V3、OpenAIのo3-mini、MetaのLlama 3-405Bモデルを上回った。
- Gemma 3 27Bは、MMLU-Pro、GPQA Diamondなどの標準ベンチマークで67.5%と42.4のスコアを獲得。
私の感想：
GoogleのGemma 3は、効率的な計算利用を持つことが強みであり、他のモデルが最大32台のGPUを必要とする中、Gemma 327Bは1つのNVIDIA H100 GPUでスコアを達成したという点が注目されます。また、Googleはモデルのアーキテクチャを変更して、長いコンテキストに伴うKV-キャッシュメモリの削減を実現しています。Gemma 3の技術的な詳細や性能などについての報告書が公開されており、様々な方法でアクセス可能です。さらに、GoogleはGemma 3と同じ基盤を活用した4Bパラメータの画像安全チェッカーであるShieldGemma 2も発表しており、有害な画像に対する安全ラベルを提供しています。