- Metaの新しいLlama 3.3 LLMは、4050億のパラメータを持つ先行モデルと同じくらいパワフルですが、実行コストが安い。
- Llama 3.3は、合成データを生成するためにライセンスされており、他のモデルの改善にも使用できる。
- LLMによって生成された合成データは、大規模なデータセットの手動収集、注釈付け、レビューの必要性を取り除くのに役立ち、機械のローカル推論のために小さな言語モデルを微調整するのに使用できる。
- Llama 3.3は39.3百万GPU時間でNVIDIA H100s上でトレーニングされ、英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語をサポートしている。
- Llama 3.3は、プログラミング言語の幅広い範囲に対するJSON出力の生成、ステップバイステップの推論、カバレッジと精度の向上機能を備えている。
私の考え：Llama 3.3は、合成データ生成や実行コストの削減など、機械学習モデルの改善に有用な機能を持つようです。また、プログラミング言語に対する精度やカバレッジの向上も特筆すべき点です。企業が複数のモデルを組み合わせる「複合AI」システムへの関心も高まっているようで、今後の展開が楽しみです。
元記事: https://www.thestack.technology/llama33-release/