Apple の GenAI が LazyLLM で「怠惰な」飛躍を遂げる

7月 23, 2024

AppleがLazyLLMを導入し、LLM推論の効率向上を図る
LazyLLMはtransformerベースの言語モデルでの応答生成を加速し、精度を損なわない
LazyLLMは長い文脈のシナリオで効率的なLLM推論を目指す
Qichen Fu、Thomas Merth、Sachin Mehta、Mahyar Najibi、Mohammad Rastegariによって開発されたLazyLLMは、モデルに前に刈り取られたトークンを再考させ、適応的かつ効率的なプロセスを提供する
Appleは7BのオープンソースLLMであるDCLM-Baseline 7Bをリリースし、2048トークンのコンテキストウィンドウを持つ
新モデルはApple Sample Code Licenseの下でライセンスされ、Hugging FaceやTransformersで利用可能
PyTorchとOpenLMでトレーニングされ、性能面でMistralなどのクローズドデータセットモデルと匹敵する
これはAppleがWWDC 2024でSiriの機能を強化するためにApple Intelligenceを導入した後のことである

LazyLLMのような新しい効率的な技術や大規模な言語モデルのオープンソース化は、AIシステムの柔軟性と反応性を向上させ、アプリケーションの革新につながる可能性がある。Appleの取り組みは、今後のAI技術の発展に大きな影響を与えるかもしれません。