- コンピュータコストは入力サイズの2乗と比例する
- 大規模な言語モデルはトークンを使用してテキストを表現する
- OpenAIのChatGPTは以前は8,192トークンのメモリを持っていた
- 現在のLLMはより能力が向上している
- RAGは大量の情報を処理するLLMベースのシステムの一般的な方法である
私の考え:
LLMの能力向上は注目すべきだが、大規模な情報を取り扱うためにはまだ進化が必要です。RAGシステムの欠点や注意機構の計算コストについての研究が進められていることが重要です。将来的には、新しいアーキテクチャが登場し、LLMのスケーリングに対する新しい戦略が模索されるでしょう。
元記事: https://arstechnica.com/ai/2024/12/why-ai-language-models-choke-on-too-much-text/