生成AI時代の開発と運用 / Dev and Ops in Gen AI era

本プレゼンテーションは、生成AIの進化が開発と運用にもたらす変化と新たな課題を解説する。開発においては、プロンプトエンジニアリング、モデルの特定タスクへの適応を目的としたファインチューニング、外部情報参照で精度を高めるRAGといった新しいアプローチが主流となっている。また、LangChainやLlamaIndexといった新しい開発ツールが登場し、効率的な開発を支援する。運用面では、費用、レイテンシー、セキュリティ、データプライバシー、公平性、説明責任といった多岐にわたる課題への対応が不可欠であり、これにはMLOpsの考え方が重要となる。

• •生成AIの開発では、プロンプトエンジニアリング、ファインチューニング、RAGが主要な手法であり、LangChainなどの新しいツールが活用されている。
• •生成AIの運用では、コスト、レイテンシー、セキュリティ、プライバシー、倫理的側面など、多岐にわたる課題を考慮する必要がある。
• •生成AIシステムのライフサイクル全体を管理するためには、従来のMLOpsの概念を適用し、評価指標の確立と継続的な改善が重要である。