世界最高峰のオープンソース大規模言語モデル「Reflection 70B」がリリース、全てのベンチマークでGPT-4oを上回る、Llama 3.1 70B Instructをベースにリフレクションチューニングも適用 – GIGAZINE

要約:

• GoogleがReflection 70Bを発表し、Reflection-Tuningを使用してトレーニングされた世界トップのオープンソースモデル。
• Reflection 70Bは、MMLU、MATH、IFEval、GSM8Kなどのベンチマークでトップの結果を達成。
• Reflection 70Bは、自己修正するためのReflection-Tuningを組み込んでおり、新しい特別トークンを導入してユーザーがより構造化された方法でモデルとやり取りできるようにしている。
• また、LMSys ‘LLM Decontaminator’を使用してデータの汚染をチェックしている。

感想:

Reflection 70Bは、自己修正能力やユーザーエクスペリエンスの向上など、革新的なテクノロジーを活用していることが分かります。また、データの品質管理にも重点を置いており、AIモデルの精度向上に貢献している点が注目されます。

元記事: https://gigazine.net/gsc_news/en/20240909-reflection-70b/