- LLM（Large Language Models）は、ChatGPTやClaudeなど、大規模な言語モデルであり、世界中で日常的に使用されている。
- LLMベースのシステムは、単純なタスクである「strawberry」の「r」の数を数えることに失敗している。
- LLMsは、テキストのパターン認識に優れており、人間らしい言語を生成するが、人間のように「考える」ことはできない。
- 現在の高性能LLMsは、transformersに基づいて構築されており、トークン化というプロセスを使用している。
- LLMsは、トークンを通じてテキストを理解し、次のトークンを予測するが、文字を直接見るモデル構造は現在のtransformerアーキテクチャでは計算上実現不可能である。
- LLMsは、文字を数えるなどの簡単なタスクには適しておらず、人間のような論理的推論もできないが、構造化されたテキストを理解することに長けている。
- LLMsは、Pythonを使用して「strawberry」内の「r」の数を数えるよう要求される場合、正しい答えを出す可能性が高い。
LLMの能力には限界があり、人間のように「考える」ことはできないが、適切なプロンプトの使用は問題をある程度緩和できる。AIの統合が進む中で、これらのモデルの現実的な期待と責任ある使用のために、その限界を認識することが重要である。
元記事: https://venturebeat.com/ai/the-strawberrry-problem-how-to-overcome-ais-limitations/