news シナモンAIからのお知らせ
- 導入事例
【「Super RAG」導入インタビュー】NTT ExCパートナー様
NTT ExCパートナーが語る「Super RAG」を選んだ理由と導入効果
プロジェクト概要
NTT ExCパートナーが提供する調達システムのヘルプデスク業務では、オペレーターが顧客からのさまざまな問い合わせに対応する際に、LLM（大規模言語モデル）を活用しています。シナモンAIの「Super RAG」を業務に組み込むことにより、LLMが図や表を含むマニュアルや仕様書など複雑なドキュメント（非構造ドキュメント）を高精度に参照することが可能になり、従来比3倍の回答精度を実現（同社計測値）しました。
さらに、大量のドキュメントを瞬時に精確に検索できるようになったことで、オペレーターの回答確認作業の効率化にも成功しています。NTT ExCパートナーでは今後、暗黙知や経験が求められるヘルプデスク業務において、「Super RAG」を活用したパフォーマンス向上を推進していくほか、シナモンAIと協業し、その他業務への「Super RAG」導入を検討してまいります。本インタビューでは、DX調達事業部の堀内さま・金子さまに、「Super RAG」導入のきっかけや効果、今後の展望について伺いました。
※本インタビューは2025年2月に実施しました。
株式会社NTT ExCパートナー： https://www.nttexc.co.jp/
シナモンAI「Super RAG」：https://cinnamon.ai/ai_model/super-rag/
「Super RAG」 導入企業 ご担当者様
株式会社NTT ExCパートナー
DX調達事業部 業務システム部門 業務推進担当 担当課長
堀内 周 様
ITベンチャーでの経験を経て、NTTコミュニケーションズの映像サービス立ち上げに参画。その後NTTぷららに転職。ドコモへの転籍後、2023年7月よりNTTExCパートナーへ出向。ぷらら提供サービス「ひかりTV」においてデータ分析チームを設立し、顧客分析、解約予兆などに貢献。2018年より、従来のデータ分析にAIを掛け合わせたハイブリッド技術でレコメンド、自動映像編集などを商用化し、その成果を多数講演。現在は、社内のAI技術の活用・推進に従事。
株式会社NTT ExCパートナー
DX調達事業部 業務システム部門 業務推進担当
金子 裕貴 様
NTTグループの調達システムを支えるサポートデスク業務に対し、RAG技術を活用した生成AIの導入を推進。問い合わせ対応の効率化および支援体制の高度化に向けた仕組みづくりに取り組んでいる。また、この取り組みで得られた知見を基に、社内全体へのRAG基盤生成AIの展開・普及を担い、AI活用の推進役として活動している。
Ｑ１．「Super RAG」導入の背景ときっかけについて教えてください
堀内： 私たちのチームは、2023年12月頃から生成AIおよびRAG（Retrieval-Augmented Generation ※生成AIを企業導入する際に必要となる技術）を活用したサポートデスクの業務効率化に取り組んでいました。他社で開発しているRAGを2024年1月から3月にかけてサポートデスクでPoC（概念実証）を行い、その成果を踏まえサポートデスクでの実運用を開始。 しかしテキストベースのみでは限界があり、図表を多く含むマニュアルに対応できないことが課題でした。
そのような中、私たちはRAGを利用するにあたり、今後行き詰まるであろう業務の課題に対する解決策を探しに2024年5月のAI EXPO（第5回 AI・人工知能EXPO 秋）を訪れました。シナモンAIと出会ったのは、それがきっかけでしたね。AI EXPOで多くのブースを回り情報収集を行いましたが、後日社内で盛り上がったのはシナモンAIの技術の話題でした。と言うのも、その当時RAGという言葉が業界の展示会やセミナーなどで頻繁に出ていましたが、私たちの課題を解決できるソリューションを具体的に提供していたのは、シナモンAIを含む2社だけだったからです。
Ｑ２．RAGシステムの選定基準について教えてください
堀内： 私たちの業務課題に適しているであろうRAGを当時提供していたシナモンAIともう１社の2社に絞って導入を検討しました。特にドキュメント解析のOCR技術が重要なポイントで、サポートデスクのマニュアルに含まれる図表やフローチャートを、RAGにデータとしてしっかり認識させることが必要でした。
RAGの選定基準は、図表を正確に取り込み意味を解釈する能力に尽きます。また、ベクトル検索やチャンキングなどのデータ解析技術も重要な要素になります。当時、RAGはまだ新しい技術であり、どの企業もキーワードとして注目し始めていた頃でした。「これからRAG頑張ります！」のような企業が多い中で、シナモンAIは私たちの要件を満たしており、さらにすでに実用化されていた点が決定打となりました。
Q３. NTT ExCパートナーが「Super RAG」を選んだ理由は何ですか
堀内： 複数のRAGを試しましたが、シナモンAIの「Super RAG」が最も優れていると判断しました。特に図表やフローチャートの認識、使い勝手の面でシナモンAIが一歩抜きん出ていました。
Q４. 「Super RAG」の導入プロセスで特に印象に残った点や課題はありましたか
金子： 図表の読み取り能力が非常に優れている点が印象的でした。シナモンAIにドキュメントを渡して、2-3日でデモを依頼した際、想定通りの回答が瞬時に出てきたことに驚きました。たまに人間でも読めない走り書きのメモなどがあったりするので、それはさすがに「Super RAG」でも読み取ることは難しい（笑）ので、それは人の手で直す必要がありますが、結構難しい図表も「Super RAG」は読んでくれるので、今後のアップデートにも期待しています。
堀内： 「Super RAG」の導入に際して特に大きな課題は感じませんでした。将来の拡張性についても非常にクリアな回答をもらい、安心しています。
Q５. 「Super RAG」導入により、どのような課題が解決されると期待していますか
堀内： 今回の「Super RAG」導入は、我々が進めるAI活用戦略の中核に位置づけられるプロジェクトです。と言うのも、私たちチームの2025年度のロードマップで最大のキーワードは「AIエージェント」だからです。
「Super RAG」は1つの機能なので、それを他のAIと組み合わせ、AI同士で連携させる”AI to AI”を考えています。現状はオペレーターが質問を受け付け、要約し、「Super RAG」に投入して回答を確認する流れですが、このフローを全てAIで行いたいと考えています。つまり質問の要約をAIがやり、回答のチェックもAIがやる。それがもしダメだった場合はオペレーターがサポートに入ったりする。でも回答に問題がない場合はAIがそのまま回答するということを考えている。少し便利なCopilotから、完全なる代理人としてのAgentに持っていきたい。その領域をシナモンAIとやっていきたいとも考えています。
Q６. 導入後の初期成果や効果を教えてください
堀内： 私たちのチームでは3つのKPIを設定しています。
1つ目の「正答率」は、「Super RAG」が正しい回答を持っていることがあらかじめ分かった上で、正しく回答できるかという数値で、これは90％を超えてきます。つまり答えがあれば問題なく引き出せるということです。
２つ目の「ヒット率」は、サポートデスクが通常の業務で受け付ける質問を、回答保有の有無に関わらず”素の状態”でどれくらい回答できるかという数値です。「Super RAG」に投入するドキュメントの量と質にもよりますが、ここが今回の取り組みのポイントになると思っていました。2024年5月に別のRAGを試した際にはヒット率21％だったのですが、「Super RAG」を導入した2つのサポートデスクで、ヒット率が80％と60％という結果でした。これを今後は90％にできると考えています。つまり「Super RAG」でヒット率がかなり上がったというのが短期間での分かりやすい成果と言えます。
３つ目のKPI「時間短縮」は、伸び悩んでいるというが現状です。別のRAGを試した際には、31分の時間短縮という結果が出ていましたが、「Super RAG」導入後の時間短縮は8分だったのです。ヒット率は上がりましたが、時間短縮が想定より伸びていないことは課題として認識しています。時間短縮が思うように伸びていない理由として、オペレーターがAIの回答をしっかり読み込んだ後に、オペレーターが回答を作成しているので、「Super RAG」が様々な答えを出してくれるため、その全ての回答をオペレーターが読み込むのに時間がかかっているのでは？と考えています。
（回答率、ヒット率は、オペレーターの方が作るプロンプトにも影響しそうですが、どのように考えていますか？）
堀内： 仰る通り、オペレーターのプロンプトで回答精度は変わると思います。過去に別のプロジェクトでRAGのPoCをやりましたが、その際にプロンプトで回答精度に差が出ることを身に染みて感じました。その経験を踏まえて、正しい回答が出やすい7箇条ほどの“プロンプト虎の巻”を作り現場の方に共有しました。
話はそれますが、実は今後はプロンプトの書き方の教育自体も省略したいと考えています。オペレーターではなく、質問の要約自体を虎の巻に従ったAIエージェントがやるというのが、私の構想にあります。
Q7. 実際に使用したエンドユーザーの反応があれば教えてください
金子： Super RAGの反応は非常に良く、他の部署でも使いたいという声が上がっています。今後、社内説明会などを実施していく予定です。
特に、他部署で導入しているRAGでは読み取れないような図表を含むドキュメントを「Super RAG」では読み取ることができるので、社内でも高く評価されています。また、「Super RAG」のインターフェイスは非常に分かりやすいので、新人の方もすぐに使い始められると思います。サポートデスクはノウハウの塊なので、教育時間の短縮も期待しています。
Q８. ハルシネーション（いわゆるAIによる誤答）が考えられる中、回答精度について実務でどのように判断・運用されていますか
堀内： 現状、オペレーターはAIが生成した回答をそのまま採用するのではなく、それをベースに補正して回答するという運用です。AIが生成した回答はオペレーターがチェックし、おかしな回答（ハルシネーション）はハジいていますが、ハジかれる回答はそんなに多くない印象です。
また、AIが回答生成する際の検索結果をオペレーターが辞書的にも使うことができるので、これまでの物理的にマニュアルから回答を探す作業を考えると断然便利にもなっています。
Ｑ９. 今回のプロジェクトを経て、他部署やグループ会社に「Super RAG」を勧めるポイントを教えてください
堀内： 何度も同じ回答になってしまいますが、まさに図表の認識能力が高い点です。IT系のシステムを提供する当社として、画面の操作説明をするマニュアルなどが多く、図表の認識は非常に重要です。「Super RAG」は、図の意図までよく読み取っているなと感心するくらい的確にナレッジ化してくれています。
表についても驚きました。表のXY軸の項目を（人間のように）読み取る必要がありますが、例えば権限規定の星取表みたいなドキュメントで、「3,000万までの決済は誰ですか？」という質問にも、「部長決済です！」みたいな回答がしっかりと出てきます。さらにフローチャートなんかも読み取れているので、このあたりはほかのRAGを使っているチームから「Super RAG」が一歩進んでいるという評価のゆえんになっていると思います。こういったことが今回シナモンAIの「Super RAG」を採用させてもらったことの中心になっています。グループ会社にもオススメしていきたいですね。
Ｑ１０. 貴社のDX推進において、「Super RAG」がどのように役立つと考えていますか
堀内： 私たちは調達システムを担当していますが、当社はヒューマンキャピタルの分野で本当に色々なシステムを提供しています。したがって「問合せ」業務は切り離すことができない業務であり、当然かなりの稼働がかかっていますので、「Super RAG」を他部署に横展開することで、DX化できると考えています。
社内の横展開には、やはり費用対効果はポイントになります。私たちの事業部がAI導入をする際にスピードを重視していましたので、費用対効果は後回しにしました。一方で、社内展開を考えた場合、やはりコストダウンの質問が多く、ここは今後しっかりと成果を出す必要があります。
Ｑ１１. 今後「Super RAG」をどのように活用していきたいですか
堀内： 2025年度はやはりAIエージェント化ですね。RAGで各業務をつないでAIエージェント化し、業務効率化を推進します。その中核となるソリューションが「Super RAG」だと考えています。
最終的な構想としては、あらゆるシーンで人の手がかからない究極のAI to AIを目指したいと思っています。オペレーターへの問い合わせ自体を失くすことができればすごいことですよね。
また、ビジネスシーンでは出力の場所が多岐にわたるため、アウトプットデバイスの拡張性も重要になると考えています。例えば、様々なSaaS上で「Super RAG」が簡単に使えるような拡張性があると、利用価値が広がると思います。「Super RAG」にはAPIがあるので、ラッピングシステムのようなものを作ることも考えています。このあたり、アイデアはたくさんあるので、シナモンAIのみなさんとどんどんディスカッションしていきたいと思っています。
おわりに
NTT ExCパートナーでは、サポートデスクをはじめとした多様な領域で生成AIの活用を強化中。2月に設立された「AI共創イノベーション室」が全社レベルのプロジェクト推進を支援し、本プロジェクトのような先端技術導入を加速させています。「Super RAG」の優れたドキュメント解析機能を活かし、将来的には“AI to AI”のエージェント化を見据えるNTT ExCパートナーとシナモンAIの取り組みから、今後も目が離せません。
――本日は貴重なお話をありがとうございました。