- Analytics.gov（AG）は、GovTech SingaporeのData Science and Artificial Intelligence Division（DSAID）によって開発された、機械学習オペレーション（MLOps）プラットフォームであり、公共部門全体に対してMLおよびAIの活用を実現しています。
- AGはAWS Sagemaker Endpointsを利用して、独自の推論エンドポイントを迅速に設定できるカスタム機能を提供し、公共部門全体にGenAIの力を効率的かつ費用効果の高い方法で提供しています。
- オープンソースモデルは、プライベートでホストされたり、クラウド環境でホストされたりすることができ、第三者へのクエリ送信が行われないため、政府データのセンシティブな情報を保護する上で重要です。
- LLMsは大量のメモリを必要とし、モデルのサイズが大きいほど、モデルをホストするために必要なGPUメモリが増加します。モデルサイズが大きくなると、各推論タスクに対するより多くの計算が必要となり、推論速度が低下します。
- Quantisationは、モデルのサイズを削減するためのテクニックであり、モデル重みの精度を減少させることによりメモリ要件を削減し、推論速度を向上させ、コストを削減します。
自分の意見: GenAIの進化に伴い、Quantisationの重要性が高まっています。モデルサイズの削減と推論速度の向上は、AI/MLプロジェクトにとって重要な要素であり、効率的で費用対効果の高いソリューションを提供するAGの取り組みは素晴らしいと感じます。