はじめに
最近は、AWSよりGoogleCloudの構築がもっぱらな稲村です。
仕事の中でも生成AIを活用した案件に参加しているので、チーム内で会話したことなどをまとめてLTを行いました。
登壇資料
URL:SpeakerDeck
LTの内容要約
今回のLTでは、「RAG（Retrieval Augmented Generation）」について説明と、個人的に「LLM」と「AIエージェント」の違いがモヤモヤしていたので、そちらについても焦点を当てながらLTを行いました。
- RAG：外部情報を効率的に取り組むことが出来る仕組み
- LLM：主にテキスト生成に特化しているモデル
- AIエージェント：目標(ゴール)までのタスクを自律的に分解・実行するフレームワーク
質疑応答
- Q. 生成AIの評価方法についてどうしてますか？
- A. 評価方法としては主に３つあり、伝統的な評価方法(BLEU、F1)や、人間での評価、生成AI自身に生成されたテキストの品質を評価させ(LLM as a Judge)などの手法がある。
バリデーションチェックのような（例：特定のフォーマットに従っているか、必須項目が入力されているか）ものに関して生成AIに判定させようとしているが、最終的な回答が正しいかどうかについては対象を絞り人間が確認するようにしている。
コメント
そもそも従来の「LLM」と「AIエージェント」の違いを調査して、自分なりの言葉で説明が出来るようになったのかなと思います。
まだまだ「AIエージェント」と「AIワークフロー」などの違いなど、理解が足りておらず学ばないといけないことが多いなと感じながらLTの資料を作りました。
おわりに
とても身近で比較的簡単にインパクトのあるものが構築できるようになりましたが、やはり「判断するという」主導権は人間が持たなければならないと思います。
このブログが、読者の皆様が生成AIやAIエージェントについて理解を深める一助となれば幸いです。