要約:

  • 研究者は大規模な調査のために参加者を募集する際に、ProlificやAmazon Mechanical Turkなどのクラウドソーシングサイトを利用している。
  • 研究に参加するProlificユーザーの約三分の一が大規模言語モデル(LLMs)を使用していることが報告されている。
  • LLMsを使用する主な理由は、自分の考えを表現するのに助けが必要だということ。
  • LLMsを使用しない参加者は、真正性と有効性への懸念を主張している。
  • AIを使用することで、人間による回答とAIによる回答には違いがあり、AIは中立で抽象的な言語を使用する傾向がある。

考察:

研究参加者がAIを使用することが増えると、回答の均一化や多様性の減少などの問題が引き起こされる可能性がある。AIの使用方法によっては、既存の考えを磨くのに役立つ場合もあれば、一般的な傾向を生成することを求める場合もあり、後者は特に懸念される。AIの使用を抑制する方法や調査の設計において人間の視点を考慮することが重要であり、データの品質に対する注意が高まっている。


元記事: https://news.stanford.edu/stories/2024/11/ai-generated-survey-responses-could-make-research-less-accurate-lot-less-interesting