- Cohere Inc.がAya 23を導入し、23言語を理解できる新しいオープンソース大規模言語モデルファミリーを紹介
- Aya 23には8億パラメータのアルゴリズムと35億パラメータのより大規模なバージョンが含まれており、企業向けに最適化されている
- Aya-23-35Bは、Command Rと呼ばれるLLMに基づいており、デコーダーのみのTransformerアーキテクチャを採用
- Aya-23-35Bは、グループ化されたクエリアテンションと回転ポジショナルエンベッディングの技術を実装しており、テキストの解釈を向上させる
- CohereはAya 23を114言語で理解するLLMデータセットでトレーニングし、Aya-23-35Bモデルが以前のアルゴリズムを大幅に上回ることを示す
私の考え：CohereのAya 23シリーズは、多言語のLLMをオープンソース化し、高度な機能と性能を提供しています。特にAya-23-35Bは、デコーダーのみのTransformerアーキテクチャに基づき、テキスト解釈の向上と効率的な処理を実現しています。さらに、グループ化されたクエリアテンションや回転ポジショナルエンベッディングの技術を導入することで、ユーザープロンプトの理解を向上させています。
元記事: https://siliconangle.com/2024/05/23/cohere-open-sources-aya-23-series-multilingual-llms/