- 生成AIに関する興奮と畏怖の感情はやや薄れてきている。
- 一般的な大規模言語モデル（LLM）は賢そうな文章を生成するが、専門知識が乏しく、ホールジネーション（誤った情報の生成）が発生しやすい。
- 特定の分野に特化したLLMが登場し、より信頼性の高い回答を提供することを目指している。例えば、法律用のLEGAL-BERT、金融用のBloombergGPT、医療用のGoogle ResearchのMed-PaLMなどがある。
- 特化型LLMの開発には、ファインチューニングと検索強化生成（RAG）の2つの主要な技術が用いられているが、コストが高く、最新の知識を維持するのが難しい。
- LLMの特化をより効率的かつ低コストで実現する方法には、まだ課題が残されている。
- 複数の特化型LLMを協力させる試みが行われており、一定の成功を収めている。例えば、コード専門のLLMであるMixtralが高品質なスパース専門家のミクスチャーモデル（SMoE）を使用している。
- 特化型LLMの開発をより小規模な企業でも可能にするためには、RAGと組み合わせて使用することが有効であると考えられる。
この記事から、LLMの特化型開発におけるコストと効率の問題が重要な課題であり、将来的にはより多くの企業が参入しやすい環境を整えることが求められています。特に、RAGの活用によって、知識の更新を迅速かつ低コストで行う方法が注目されています。技術の進化に伴い、これらの課題がどのように解決されるかが、今後のAI分野の発展に大きく寄与するでしょう。
元記事: https://www.infoworld.com/article/3715306/the-limitations-of-model-fine-tuning-and-rag.html