ローカルで実行されるAIシステム、エッジ上のLLMsは、データセンターの負担を軽減するのに役立ちますが、このアプローチが主流になるまでには時間がかかるかもしれません。
- LLMs on the edgeの利点は、訓練コストの低下、LLMへのクエリのレイテンシーの低減、ユーザーのプライバシーの向上、信頼性の向上などがあります。
- データセンターへの圧力を緩和し、処理能力の必要性を減らすことができれば、LLMs on the edgeは数ギガワット規模のAIデータセンターファクトリーの必要性を排除する可能性がありますが、このアプローチが本当に実現可能なのかは疑問です。
- スマートフォン上での軽量LLMsのAI-on-the-edgeユースケースが最も速く進んでいるとされています。
- スマートフォンメーカーはエッジ上のLLMsに取り組んでおり、ChatGPT-3の1750億パラメータではなく、約20億パラメータに削減しようとしています。
- セキュリティとプライバシーは重要であり、LLMs on the edgeは特定の利用ケースを除いてすぐには目立たないでしょうが、エッジのトレンドは止まることがないとされています。
自分の考え:
エッジ上のLLMsは将来性があり、データセンターの負担を軽減することが期待されます。特にスマートフォン上での展開が進んでおり、セキュリティとプライバシーの課題にも対処できる可能性があります。ただし、普及にはまだ時間がかかると思われます。