Google の ML 向けオープンソース フレームワークである MediaPipe は、昨日 (3 月 7 日)、新しい LLM 推論 API をリリースしました。
新しい実験的なAPIにより、LLMはプラットフォーム間で完全にデバイス上で実行できるようになり、LLMに関連するメモリとコンピューティングの課題を克服します。TensorFlow LiteとMediaPipeは2017年以来、ウェブ開発者向けにデバイス上のMLを効率化しており、MediaPipeは2019年から完全なMLパイプラインをサポートしているとGoogleは述べています。新しいAPIはウェブ、Android、iOSをサポートし、最初はGemma、Phi 2、Falcon、Stable LMの4つのオープン利用可能なLLMを含みます。Androidユーザーは実験的および研究目的でMediaPipe LLM推論APIにアクセスできますが、Android上のLLMを使用した本番アプリケーションはGemini APIまたはGemini Nanoを使用できます。Googleは、新しいAPIによりウェブ開発者の統合が簡素化され、オープン利用可能なLLMのプロトタイプ作成とデバイス上でのテストが可能になると述べまた、LLMのパフォーマンスを測定するためのプレフィルやデコード速度などの指標も提供します。APIは、ウェブデモ経由で使用することも、ウェブ、Android、iOS用に提供されているSDKを使用してサンプルデモアプリを構築することで使用することもできます。MediaPipeは、2024年にLLM推論APIを拡張し、より多くのプラットフォーム、モデル、変換ツール、デバイス上のコンポーネント、高レベルタスク、さらなる最適化を導入する予定です。GlobalDataが2023年第4四半期に実施した調査では、約54％の企業がAIがすでに業界に具体的な混乱をもたらし始めていると回答し、さらに56％の回答者がAIがその約束をすべて果たすと信じていました。GlobalDataの調査によると、GenAIはAIの中で最も急速に成長するセグメントになるとも予測されており、2022年から2027年の間に収益が18億ドルから330億ドルに増加すると見込まれています。
新しい実験的な API により、LLM をプラットフォーム間で完全にデバイス上で実行できるようになり、LLM に関連するメモリとコンピューティングの課題を克服できます。
Googleによると、TensorFlow LiteとMediaPipeは2017年からウェブ開発者向けのオンデバイスMLを効率化しており、MediaPipeは2019年から完全なMLパイプラインをサポートしているという。
新しい API は Web、Android、iOS をサポートし、最初は Gemma、Phi 2、Falcon、Stable LM の 4 つのオープン利用可能な LLM が含まれます。
Android ユーザーは実験や研究目的で MediaPipe LLM 推論 API にアクセスできますが、Android 上の LLM を使用した本番アプリケーションでは Gemini API または Gemini Nano を使用できます。
Google によると、新しい API により、Web 開発者の統合が簡素化され、公開されている LLM をデバイス上でプロトタイプ化してテストできるようになる。また、LLM のパフォーマンスを測定するためのプレフィルやデコード速度などの指標も提供される。
API は、Web デモ経由で使用することも、Web、Android、iOS 用に提供されている SDK を使用してサンプル デモ アプリを構築することで使用することもできます。
MediaPipe は、2024 年に LLM 推論 API を拡張し、より多くのプラットフォーム、モデル、変換ツール、デバイス上のコンポーネント、高レベル タスク、さらなる最適化を導入する予定です。
GlobalDataが2023年第4四半期に実施した調査では、約54%の企業がAIがすでに業界に具体的な混乱をもたらし始めていると回答し、さらに56%の回答者がAIがその期待をすべて実現すると信じていました。
GlobalDataの調査によると、GenAIはAIの中で最も急速に成長する分野になるとも予測されており、2022年から2027年の間に収益が18億ドルから330億ドルに増加すると予想されています。
企業、テーマ、レポート、そして22の世界の業界にわたる実用的なデータと洞察を検索
Explorerに登録すると、より多くのプレミアム企業にアクセスできます
