要約:
- 大規模言語モデル（LLMs）の訓練には膨大なデータ収集と注釈付けが必要であり、個々の当事者にとって高額である。
- フェデレーテッドラーニング（FL）は、LLMsの協力的なトレーニングを促進し、プライバシーを保護しながら分散データ上で実現する有望な解決策である（FedLLM）。
- 上海交通大学、清華大学、上海AI研究所の研究者らは、FedLLMの最初の現実的なベンチマークであるFedLLM-Benchを提案している。
- FedLLM-Benchは、4つのデータセット（Fed-Aya、Fed-WildChat、Fed-ChatbotIT、Fed-ChatbotPA）を提供し、38から747のクライアント間で現実的なフェデレーテッド特性を捉えている。
- このベンチマークは、8つのベースラインメソッドと6つの評価メトリクスを統合し、研究方向の比較と探索を容易にしている。
感想:
研究者らが提案するFedLLM-Benchは、実世界の複雑さを反映した包括的なベンチマークであり、フェデレーテッド学習の進歩を促進する可能性があると考えられる。