• 大規模言語モデル(LLMs)のGPT-4、PaLM、LLaMAなどが、異なる推論タスクで優れたパフォーマンスを示している
  • LLMsの機能性とパフォーマンスをさらに向上させるためには、より効果的なプロンプティング方法とモデルサイズの拡大が必要
  • BoT(Buffer of Thoughts)は、Peking University、UC Berkeley、Stanford Universityの研究チームによって開発された、思考増強型推論の革新的で柔軟なフレームワーク
  • BoTにはメタバッファーがあり、一連の一般化可能な高レベルのアイデア(思考テンプレート)を格納する小さなライブラリが含まれている
  • BoTは、多くの推論を必要とする難しいタスクで、従来の方法を51%のCheckmate-in-One、11%のGame of 24、20%のGeometric Shapesで凌駕する

BoTは推論の精度を大幅に向上させるが、人間らしい独創性が必要な問題には適しておらず、メタバッファーの初期化に弱いモデルを使用すると思考テンプレートの品質が低下する可能性がある。BoTの進むべき道は、外部リソースと組み合わせてBoTを使用してオープンドメインシステムを作成することや、思考テンプレートの蒸留を最適化することなどが挙げられる。

元記事: https://www.marktechpost.com/2024/06/09/buffer-of-thoughts-bot-a-novel-thought-augmented-reasoning-ai-approach-for-enhancing-accuracy-efficiency-and-robustness-of-llms/