- RLHFは、LLMのトレーニングの最後の主要な段階であり、事前トレーニングと監督された微調整（SFT）に続くものである。
- AlphaGoは実際の強化学習（RL）を使用してトレーニングされ、人間のフィードバックからの強化学習（RLHF）ではなかった。
- 一部の研究者は、RLHFがモデルのパフォーマンスを最適化するためには信頼性が低いと主張している。
- 自己教師付き学習やルールベースの報酬など、人間のフィードバックに頼らないアプローチも提案されている。
自己教師付き学習やルールベースの報酬など、人間のフィードバックに頼らないアプローチも提案されている。
元記事: https://analyticsindiamag.com/ai-origins-evolution/rlhf-is-not-really-rl/