要約:

  • LLMは基本的な計画手順の生成には有望だが、複雑な調整と複数の行動を計画する必要がある複雑なタスクには苦労している。
  • オックスフォード大学の研究者らによる新しい研究では、LLMの非同期計画能力を検証し、高度なプロンプティング技術がLLMの複雑なタスクでのパフォーマンスを向上させることを明らかにした。
  • 研究者はAsynchronous WikiHow(AsyncHow)を作成し、GPT-3.5、GPT-4、Cohere Command、LLaMA-2-70B-chat、Mistral-7B-Instructの5つの人気のあるLLMをテストした。
  • PLaG(Plan Like a Graph)プロンプティングテクニックを導入することで、LLMの非同期計画タスクのパフォーマンスを向上させることができることが示された。
  • PLaGはLLMにグラフ表現を提供し、タスクとその解決方法をグラフとして表現する方法を示すことで、パフォーマンスを向上させる。

感想:

LLMの非同期計画能力を向上させるためのプロンプティング技術としてPLaGは有望であり、グラフ表現が理解を助けることが示された。ただし、現在のモデルは複雑なシナリオにはまだ苦労しており、訓練中に見た手順数よりも多い場合には性能が劇的に低下することが明らかになった。

元記事: https://bdtechtalks.com/2024/08/12/thinking-in-graphs-improves-llms-planning-abilities-but-challenges-remain/