要約:
- 企業の最も寛大なAIモデルにも、製作者たちが話したくない敏感なトピックがある。
- クリエイティブAIユーザーは、これらのモデルに禁止された回答をさせようとさまざまな方法を試みてきた。
- Anthropicは、新しい憲法分類システムをリリースし、一般の人々にそのシステムをテストさせている。
- 憲法分類システムは、自然言語ルールの憲法に基づいており、新しい、より抵抗力のある分類子を訓練するための堅牢なデータセットを生み出す。
- Anthropicは、様々な言語に翻訳された合成プロンプトを生成し、新しい攻撃技術に対抗するために憲法を素早く修正できると主張している。
感想:
憲法分類システムは、禁止されたコンテンツをブロックするために進化し、新しい攻撃技術に対処できる柔軟性を持っているようです。Anthropicのアプローチは興味深く、セキュリティの向上に対する取り組みが進化していることが示唆されます。