要約：
- LLMアプリケーションの運用に関するデータ、モデル、製品、人材についての操作面に焦点を当てた議論
- データについて：LLM入出力の定期的なレビュー、テストと本番のズレの測定と削減方法
- モデルについて：言語モデルをスタック全体に統合する方法、モデルのバージョニングと移行についての考え方
- 製品について：デザインの関与時期、豊かなヒューマンインザーループフィードバックでのユーザーエクスペリエンスの設計、競合する要件の優先順位付け方法、製品リスクのキャリブレーション方法について
- 人材について：成功するLLMアプリケーションを構築するために雇うべき人、適切な文化を育む方法、自社のLLMアプリケーションを構築するために新興のLLMアプリケーションをどのように活用するか
考察：
LLMアプリケーションの運用において、データ、モデル、製品、人材の各要素に焦点を当てた操作面の重要性が強調されています。特に、データの定期的なレビューやテストと本番のズレの測定、モデルの統合やバージョニング、製品開発プロセスへのデザインの関与時期、そして適切な文化の育成などが成功に欠かせない要素とされています。これらの観点から、適切な戦略と戦術のバランスを保ちながら、LLMアプリケーションの構築と運用を行うことが重要であると示唆されています。
元記事: https://www.oreilly.com/radar/what-we-learned-from-a-year-of-building-with-llms-part-ii/