技術記事要約：
- Meta Platforms Inc.は、オープンソースの大規模言語モデルライン「Llama」にLlama 3.3 70Bを導入。
- Llama 3.3 70Bは、Llama 3.1 405Bと同等の出力品質を提供しつつ、ハードウェアの一部を使用する。
- Llama 3.3 70Bは、インフラ費用を大幅に削減し、コスト効率的な応答を生成。
- Transformerアーキテクチャの最適化バージョンを使用し、注意機構の改善された実装を採用。
- Llama 3.3 70Bのトレーニングには、Nvidia Corp.のH100-80GBチップを使用し、約3930万グラフィックスカード時間を要した。
- 15兆トークンのトレーニングデータセットを使用し、公共のWeb情報と2500万以上の合成例を組み込んでトレーニング。
- MetaはLlama 3.3 70Bをさまざまな方法で改良し、Llama 3.1 405Bと比較して性能を検証。
- Llama 3.3 70Bは、AIベンチマークでLlama 3.1 405Bよりわずかに劣る結果を示し、OpenAIのGPT-4oを上回る。
- Llama 3.1 405Bで100万の入力トークンを処理するコストは$1であり、Llama 3.3 70Bでは$0.1にまで削減。
- Metaは、Llama 3.3 70BのソースコードをHugging Faceで公開。
感想：
MetaのLlama 3.3 70Bは、ハードウェアの効率を改善し、コスト効率的な応答を提供する点で注目に値する。Transformerアーキテクチャの最適化やトレーニングにおける革新的な手法の採用など、最新の技術を活用して性能を向上させている点が素晴らしいと思います。