- 最近の24ヶ月で、生成AIは大きく進歩し、特に大規模言語モデル（LLMs）の顕著な発展が見られる。
- オーストラリアの法律に特に関連する場合、生成AIは法律に関して優れているのか疑問がある。
- Allensは、Allens AI Australian Law Benchmarkを開発し、LLMsの法的問いに答える能力をテストした。
- 研究の結果、オーストラリアのような小規模の管轄区域の回答は、似ているが異なる法律を持つ大きな管轄区域の法的分析に「感染」していることが確認された。
- 生成AIは、UKやEUの法律に基づく回答を提供することがあり、オーストラリアの法律に適さない場合がある。
- 他のシステムもベンチマークされ、一部は高いレベルで実行されるが、クリティカル思考や条項分析に関わる質問に苦戦することもある。
私の考え：
生成AIの進歩は目覚ましいものがありますが、オーストラリアの法律など、特定の領域においてはまだ課題が残るようです。LLMsが異なる法域の法的分析に影響を受けることがわかり、正確性や適合性に関する確認が重要であることが示唆されています。RAGなどの専用法的AIツールの導入が問題の解決につながる可能性があるが、完全な解決にはまだ時間がかかるとの見解も示されています。