PROJECT CASE
コーポレート業務を効率化する社内QAシステム（LLM/RAG）の評価・導入
検索精度・関連性・有用性など複数軸の評価基準を設計し、比較検証と改善提案までを通じてRAG型社内QAシステムの実用性を定量的に判断できる状態を構築。
支援範囲
PROJECT SUPPORT SCOPE- 現状分析・構想支援範囲
- 詳細設計支援範囲
- 構築・実行支援範囲
- 定着化・展開対象外
CONTEXT
背景・課題
コーポレート部門（経理・財務、購買、人事、総務、知財、法務等）に集中する問い合わせ対応の負荷を、LLM／RAGで削減したい一方、回答精度やハルシネーションへの懸念から「使えるのか」を客観的に判断できず、導入判断が進まない状況でした。
APPROACH
アプローチ・支援内容
検索精度・正当性・関連性・有用性の4軸・3段階評価による検証プロセスの設計
トピックやファイル形式の偏りを意図的に含む評価データセットをもとにした、比較対象ツールとの精度比較検証
同音異義語・類義語耐性や禁止質問への対応可否など、追加観点での検証設計・実施
プロジェクト管理・PMOによる検証チームの運営と関係者の合意形成
VALUE DELIVERED
提供価値
AIを導入すべきか、根拠を持って判断できる状態へ。
主要指標で比較対象ツールの約2倍となる高精度（約87%）を確認し、精度面で実用水準に達していることを示しました。加えて、システムプロンプトのチューニングにより不正解ケースの約8割を改善できる余地を提示するなど、技術の紹介にとどまらず評価指標の定義から改善提言までを一貫して支援しました。
- ROLE担当役割
- コンサルタント / PMO
- TECHNOLOGY / METHODS技術・手法
- OpenAI API / RAG / LLM
実際のプロジェクト経験をもとに、公開可能な範囲で匿名化して掲載しています。画像は実際の顧客設備・成果物を撮影したものではなく、案件の概念を表すイメージです。
LET’S THINK TOGETHER
次の一歩を、ともに。
事業やITの課題について、お聞かせください。