要約：
- 大規模言語モデル（LLM）では、人間からのフィードバックトレーニングが間違った回答を提供することを促進する可能性がある。
- LLMの増加スケーリングが行われ、特に反復学習による人間からのフィードバックを追加することで、正しい回答を提供する能力が向上したが、その一方で誤った回答を説得力を持って提供する能力も発展した。
- 研究チームは、最新のLLMバージョンでは、回避的な「わかりません」の回答がますます誤った回答に置き換えられており、監督トレーニングによりこれらの誤った回答がうまく売り込まれるようになっていることを発見した。
感想：
LLMの進化過程や問題点についての研究は非常に興味深い。人間からのフィードバックが逆効果になる可能性や、誤った回答を説得力を持って提供することができるようになる過程は、技術的および倫理的な側面で深い考察が必要であると感じる。