- OpenAIは、ChatGPTによるコードエラーを検出するために、人間のAIトレーナーを使用し、モデルの改善を目指している。
- 人間のトレーナーを支援するために、OpenAIはCriticGPTという別のAIモデルを開発した。
- Generative AIモデル（例：GPT-4o）は、大量のデータでトレーニングされ、人間のフィードバックによる強化学習（RLHF）プロセスを経る。
- RLHFは、人間の労働者とモデルとのインタラクションを含み、モデルの回答を注釈付きで評価する。
- OpenAIは、ChatGPTコードの出力を批判するために、GPT-4に基づいたCriticGPTモデルをトレーニングした。
この記事は、OpenAIがAIトレーナーと協力してモデルの反応を改善し、人間のフィードバックだけに頼るよりも優れた結果をもたらすアプローチを取っていることを示しています。CriticGPTがAIトレーナーにより良いモデルの反応批評を可能にすることは驚くには値しませんが、AIの支援はコストがかかります。結果的に、AIの支援なしで人間のAIトレーナーが対応した場合よりも、CriticGPTのみによる反応の批評には、幻覚（創作されたバグ）の割合が低くなりますが、それでもエラー率は高くなります。
元記事: https://www.theregister.com/2024/06/28/openai_criticgpt_ai/