建築家または建築家を目指す人が知っておくべき事柄を毎月まとめた概要です。
プロフェッショナルソフトウェア開発における知識とイノベーションの普及を促進
Git は、ソフトウェア開発におけるバージョン管理によく使われるツールです。複数の Git アカウントを使用することは珍しくありません。Git アカウントを正しく構成して切り替えることは困難です。この記事では、Git が提供するアカウント構成とその制限、およびプロジェクトの親ディレクトリの場所に基づいてアカウントを自動的に切り替えるソリューションについて説明します。
WebAssembly は、その範囲をブラウザからクラウドやエッジ コンピューティングなどの他のドメインにまで拡大しました。WebAssembly は、WebAssembly コンポーネント モデル (WCM) を使用して、Rust、Python、JavaScript などのさまざまなプログラミング言語のライブラリ間のシームレスな相互作用を可能にし、真の多言語プログラミング環境を推進します。
Shreya Rajpal は、リスクを軽減し、LLM の安全性と効率性を高めるために設計されたオープンソース プラットフォームである Guardrails AI を紹介します。
このポッドキャストでは、Culture & Methods の主任編集者である Shane Hastie が、開発者関係の役割とオープンソース コミュニティへの貢献について Craig Box に話を聞きました。
Ranjith Kumar は、グローバルな容量を持つサービス所有者に提示される抽象化と保証、数十の地域にわたるワークロードを管理するための設計と実装、さまざまな需要の分類とモデル化、さまざまな地域間で需要をシフトすることによるグローバルな容量管理の実現について説明します。
ソフトウェア開発の意思決定をレベルアップするための変革的な洞察を発見してください。限定オファーにはコード LIMITEDOFFERIDSBOSTON24 を使用してください。
上級開発者から実践的なアドバイスを得て、現在の開発課題を解決しましょう。限定オファーにはコード LIMITEDOFFERIDSMUNICH24 を使用してください。
注目すべき新たなトレンドを発見して、ソフトウェア スキルをレベルアップしましょう。今すぐ登録してください。
すべてのプロフェッショナルが知っておくべきすべてのトピック、テクノロジー、テクニックに関する月刊ガイド。無料で購読できます。
InfoQ ホームページ ニュース メタが Call 3 オープンソース LLM をリリース
2024年5月7日 2分で読める
Meta AI は、オープンソースの大規模言語モデル (LLM) ファミリーの最新世代である Llama 3 をリリースしました。このモデルは、8B および 70B のパラメータ サイズで利用でき、それぞれに基本バージョンと命令調整バージョンがあります。Llama3 は、標準 LLM ベンチマークで同じパラメータ サイズの他の LLM よりも優れたパフォーマンスを発揮します。
Meta は、この新世代を Llama 2 に対する「大きな飛躍」と呼んでいます。より優れたトークナイザーや、より効率的なグループ化クエリ アテンション (GQA) メカニズムなど、アーキテクチャの変更がいくつか行われています。Llama 3 は、公開されているテキスト データの 15T トークンでトレーニングされています。これは、Llama 2 の 7 倍です。命令調整バリアントは、近似ポリシー最適化 (PPO) や直接プリファレンス最適化 (DPO) などの方法を組み合わせてトレーニングされ、コーディングと推論タスクでのモデルのパフォーマンスが向上しました。モデルとともに、Meta は、Llama 3 によって生成された安全でないコードを検出するフィルターである Code Shield を含む新しい安全ツールをリリースしました。Meta によると、
本日リリースするテキストベースのモデルは、Llama 3 モデル コレクションの最初のものです。近い将来の目標は、Llama 3 を多言語およびマルチモーダルにし、より長いコンテキストを持たせ、推論やコーディングなどのコア LLM 機能全体のパフォーマンスを継続的に向上させることです。
Metaは2023年初頭にLLaMA（Large Language Model Meta AI）の第1世代をリリースし、その後Llama 2とCode Llamaをリリースした。これらのモデルは、10倍のパラメータを持つGPT-3やGoogleのPaLMなどのLLMと同様のパフォーマンスを示した。これらのモデルは、Llamaベースのアプリがサポートできる月間アクティブユーザー数を制限する「特注の商用ライセンス」の下でリリースされている。
Llama 3 の最先端のパフォーマンスの背後には、トレーニング データセットとトレーニング計算量があります。Meta は Llama 2 を使用して「最高品質のデータ」を収集し、低品質のデータを除外するテキスト分類器のセットをトレーニングしました。研究チームはまた、Chinchilla の最適量を超える計算量でモデルをトレーニングすると、継続的なパフォーマンスの向上がもたらされることも発見しました。
Llama 3 リリース後の最初の週に、Meta は、重みが「120 万回以上」ダウンロードされ、サードパーティの開発者が「600 を超える派生モデル」をトレーニングして Huggingface で利用できるようにしたと主張しました。その他のサードパーティの貢献には、モデルのコンテキスト ウィンドウの増加が含まれます。Meta はまた、現在、24K-GPU Grand Teton クラスターを使用して、4000 億を超えるパラメーターを持つ Llama 3 のバージョンをトレーニングしていると主張しています。
Hacker News での Llama 3 に関する議論で、あるユーザーは、Meta のパフォーマンス評価ではモデルを GPT-4 や Claude Opus と比較していないと指摘しました。別のユーザーは次のように説明しています。
彼らは「クラス内」の比較をしようとしていたため、最高のモデルと比較しませんでした。70B モデルは Sonnet (比較対象) や GPT3.5 (Sonnet よりはるかに劣る) と同じクラスです。Sonnet に勝っているということは、ほとんどのタスクで Opus や GPT-4 に迫る距離にあることを意味します。唯一の大きな違いは、おそらく非常に難しい推論ベンチマークで生じるでしょう。Llama はオープンソースなので、Opus とは異なり、微調整や LoRA が見られるでしょう。
Meta では現在、モデルの重みをダウンロードする前に、ユーザーがアクセス リクエストを送信することを要求しています。このモデルは、AWS、GCP、Azure でも使用できます。Meta は Llama 3 を Meta AI アシスタントに統合しました。
InfoQ の先週のコンテンツのまとめが毎週火曜日に配信されます。250,000 人以上のシニア開発者のコミュニティに参加してください。例を見る
InfoQ の先週のコンテンツのまとめが毎週火曜日に配信されます。250,000 人以上のシニア開発者のコミュニティに参加してください。例を見る
2024 年 6 月 24 日 – 25 日 | ボストン、マサチューセッツ州今日の重要な開発優先事項を明確にする実用的な洞察。InfoQ Dev Summit Boston は、InfoQ が主催する 2 日間のカンファレンスで、シニア ソフトウェア開発者が現在直面している最も重要な技術的決定に焦点を当てています。20 以上の技術講演を詳しく聞き、ジェネレーティブ AI、セキュリティ、最新の Web アプリケーションなどを扱うシニア ソフトウェア開発者から革新的な学びを得ましょう。今すぐ登録
InfoQ.com およびすべてのコンテンツの著作権は © 2006-2024 C4Media Inc. に帰属します。プライバシー通知、利用規約、Cookie ポリシー
元記事: https://www.infoq.com/news/2024/05/meta-llama-3/