- 2024年4月、メリーランド大学のDayeon KiとMarine Carpuatは、大規模言語モデル（LLMs）に外部フィードバックを使うことで機械翻訳後編集（MTPE）能力が向上することを示した。
- 彼らの研究では、異なる粒度のフィードバック（一般的、スコアベース、詳細）を使用し、そのうち詳細なフィードバックが最も有望であることが示された。
- 2024年6月4日の論文では、ハイデルベルク大学のNathaniel BergerとStefan Riezler、SAP SEのMiriam ExelとMatthias Huckは、「軽量」なフィードバックがLLMsを効果的に誘導し、自己修正するのに十分であると提案した。
- 彼らは、人間のフィードバック（エラーマーキング）を活用してLLMsの能力を向上させる2段階プロセスを提案した。
- このプロセスの効果をテストするために、IT領域と英独言語ペアでパイロット研究を実施した。
- エラーマーキングを提供することで、LLMの翻訳修正能力が大幅に改善され、翻訳品質が向上した。
- LLMは提供されたエラーマーキングに基づいて誤りを修正することを学び、人間の評価によると68％の修正が自動後編集時の32％と比較して正しかった。
この研究は、LLMsの翻訳能力向上において外部フィードバックの重要性を示しており、詳細なフィードバックが特に有望であることが示唆されています。また、人間のエラーマーキングを活用した翻訳後編集手法は、翻訳品質を向上させる効果があることが示されました。