要点
- 新しいAI、RAG、LLM用語の多くが登場し、その中で重要な概念とは何か、どれが市場目的の新しい名前だけなのかがわかりにくくなっている。
- No-GPUの専門化されたLLMが注目を集めており、特に企業向けバージョンで大きな進展が見られる。
- 大規模言語モデルとRAGアプリは、コーパスや文書リポジトリを入力ソースとして使用しており、それぞれ異なるアプローチを取っている。
- テキストエンティティの分割（chunking）、インデックス付け、スコアリング、エージェントがモデル構築の最初のステップとして重要である。
- promptに対して候補のテキストエンティティを選択する際に、スコアを付けることが重要であり、最終的なスコアは候補テキストエンティティを表示する際に使用される。
感想
新しいAI技術の普及に伴い、分野ごとの用語や概念の理解がますます重要になってきています。特に企業向けのLLMが注目を集めているようであり、テキストエンティティの分割やスコアリングなど、モデル構築の基本的なステップが重要であることが強調されています。
元記事: https://www.datasciencecentral.com/llm-chunking-indexing-scoring-and-agents-in-a-nutshell/