要約:

  • 語彙的な研究によるデータポイントは、例えばSnell事件における地中トランポリンの設置が「造園」という言葉の通常の意味に含まれるかの質問のような、日常の意味に関する実証的な問題について示唆できる。
  • AIの応答は、検索用語の微妙な違いによって容易に影響を受け、同じクエリが複数回提示されても大幅に異なる。
  • チャットボットの応答はユーザーのプロンプトに敏感であり、確認バイアスの問題にも影響を受ける。
  • AIの応答は、同じ質問を複数回尋ねると異なる答えを提供する。
  • AIの応答の変動性により、それらは不透明で非再現的であり、根本的に実証的ではなくなる。

考察:

AIの応答の変動性が問題であることが強調されており、人間のプロンプトに対する感受性や確認バイアスの影響により、AIの意見は客観的なデータではなく主観的な意見となり得ることが示されています。このようなAIの特性は、法的な意味の解釈などの実証的な任務において信頼性の欠如を引き起こし、裁判官が主観的な見解を外部証拠に照らし合わせることや立法政策に関する自らの見解を信用しないようにするという目的を果たす能力を奪ってしまいます。

元記事: https://reason.com/volokh/2024/10/16/llm-ais-as-tools-for-empirical-textualism-manipulation-inconsistency-and-related-problems/