- 大規模言語モデル（LLM）をユーザーレベルの差分プライバシー（DP）で微調整する実用的かつスケーラブルなアルゴリズムの調査
- DP-SGDの2つの変種を研究：(1) 例レベルのサンプリング（ELS）と例ごとの勾配クリッピング、(2) ユーザーレベルのサンプリング（ULS）とユーザーごとの勾配クリッピング
- ELSに対して証明可能なプライバシー保証を計算できる新しいユーザーレベルDP会計士を導出
- ELSは特定の設定でULSを上回る可能性があるが、ULSは各ユーザーが多様な例を持つ場合に一般的により良い結果をもたらす
- 合成平均推定とLLM微調整タスクの実験を通じて検証し、ULSが（1）強力なプライバシー保証が必要な場合や（2）計算予算が大きい場合に著しく優れていることを発見
この論文では、ユーザーレベルの差分プライバシーを考慮した大規模言語モデルのトレーニングアルゴリズムに焦点を当て、実証的な結果を通じてULSが重要な役割を果たすことを示しています。特に、プライバシー保護が重要な場合や計算予算が大きい場合にULSが優れた結果をもたらすことが示されています。