技術記事要約
- サルヴァムAIはSarvam 1 LLMを発表し、ベンガル語、英語、グジャラート語、ヒンディー語、カンナダ語、マラーティー語、マラヤーラム語、オリヤー語、パンジャブ語、タミル語、テルグ語の11言語でトレーニングされた新しいオープンソースAIモデルをリリース。
- Sarvam 1は20億のパラメータを持ち、Nvidia H100 Tensor Core GPUs上で4兆のトークンを使用してトレーニングされたカスタムトークナイザーを使用しており、他のインド言語でトレーニングされたAIモデルよりも最大4倍効率的であると主張。
- マルチリンガルタスクを可能にするために、Sarvam-2Tトレーニングコーパスには、ヒンディー語、英語、プログラミング言語のデータセットが20％含まれており、インド言語の高品質なトレーニングデータの不足に対処するために合成データ生成方法が使用されている。
- 2023年12月には、Sarvam AIがメタAIのLlamaモデルを使用して構築された国内初のヒンディー語LLMであるOpen Hathiを発表。2024年8月には、Sarvam AIが最初の基礎となるAIモデルであるSarvam 2Bを発表。
感想
インドの言語にAIを前進させ、リソースが限られている中でヒンディー語のLLMを作成しているSarvam AIは、インド言語向けのAI開発を推進している。Metaが主催するAI HackathonやLlama 3.1 Impact Grantsなど、イベントや助成金を通じてAIの革新を促進している様子が伺える。