- LLM（Large Language Models）は翻訳やテキスト分類、顧客サービスなどのタスクを自動化するが、中央サーバーにリクエストを送る必要があり、高コストでエネルギーを消費し、遅い。
- プリンストン大学とスタンフォード大学のエンジニアが開発した新しいアルゴリズムは、LLMのデータを圧縮することでプライバシーを向上させ、エネルギーを節約し、コストを削減する。
- この新しいアルゴリズムCALDERAは、ローカルデバイスに格納およびアクセス可能なLLMを提供し、未圧縮バージョンとほぼ同等の性能を提供する。
- 研究者は、CALDERAアルゴリズムをNeurIPSで発表し、低ランクと低精度の分解を使用したLLMの圧縮に成功。
- 低精度と低ランクの組み合わせにより、他の手法を向上させ、単独の低精度を使用する手法よりも5%の改善を達成。
私の考え:
この研究は、AIモデルの圧縮において革新的な手法を示しており、エネルギー効率やコスト削減に貢献する可能性がある。また、個人情報保護や機密情報の漏えいリスクを低減しながら、モバイルデバイスでのLLMの利用を促進できる点が重要であると考えられる。
元記事: https://www.eurekalert.org/news-releases/1065328