検索拡張生成 (RAG: Retrieval Augmented Generation)

検索拡張生成 (RAG: Retrieval Augmented Generation) とは?

検索拡張生成 (RAG: Retrieval Augmented Generation) AIは、検索ベースと生成ベースの人工知能 (AI) モデルの両方の長所を組み合わせた、自然言語処理 (NLP) 技術です。RAG AIは既存の知識を最大限に活用して正確な結果を提供することができますが、この知識を処理して統合し、検索したデータを単に要約するだけでなく、人間のような言語で文脈を把握した独自の回答、指示、説明を作成することもできます。RAG AIは生成AIの上位集合という点で生成AIとは異なります。RAGは、生成AIと検索AIの双方の長所を組み合わせたものです。RAGは、人間の脳の動きを模倣して結果を得る認知AIとも異なります。

検索拡張生成 (RAG: Retrieval Augmented Generation) の仕組みとは?

検索拡張生成 (RAG: Retrieval Augmented Generation) は、検索ベースの技術と生成ベースのAIモデルを統合することで機能します。検索ベースのモデルは、新聞記事、データベース、ブログ、Wikipediaや社内データベースといったその他ナレッジリポジトリなど、既存のオンラインソースから情報を抽出することに長けています。しかしこのようなモデルでは、独創的な回答やユニークな回答を生み出すことはできません。また、生成モデルは尋ねられている文脈の中で最適かつ独創的な回答を生成することができますが、厳密な精度を保つことは困難です。こうした既存モデルの相対する短所を克服するため、それぞれの長所を組み合わせて短所を最小限に抑えるRAGが開発されました。RAGベースのAIシステムでは、既存の情報源から関連する情報を見つけ出すために検索モデルが使用される一方で、生成モデルは検索した情報を取得し、すべてのデータを統合して明解で文脈上適切な回答を成形します。

検索拡張生成のメリットとは?

RAGは検索人工知能 (AI) モデルと生成AIモデルを統合することで、より正確で関連性の高い、人間が行ったような独創的な回答を提供します。これは、RAGモデルがクエリの文脈を理解し、両方のモデルの長所を組み合わせることで、新しいユニークな回答を生成するためです。このため、RAGモデルには以下の特徴があります:

• より正確: まずは検索モデルを使用して既存の知識源から関連する情報を特定することで、続いて生成される人間のようなオリジナルの回答は、生成モデルのみ使用した場合よりも関連性の高い、最新の情報に基づいたものになります。
• 優れた情報統合: RAGは検索モデルと生成モデルを組み合わせることで、多数の情報源から得た情報を集約し、人間のような方法で新たな回答を生成することができます。複数の情報源から情報を集約する必要のあるより複雑なクエリでは、特にこの点が役立ちます。
• 文脈に沿った情報の適応: 検索モデル単体の場合とは異なり、RAGは会話の文脈を意識するため、関連性の高い回答を生成することができます。
• 訓練の容易さ: 生成AIモデルを構築するNLPベースの大規模言語モデル (LLM) を訓練するには、大量のデータが必要です。代わりに、RAGモデルは、事前に検索した既存の知識ソースを使うため、大量の学習データを探して取り込む必要性が減ります。
• 高い効率性: RAGモデルは大規模な生成モデルよりも効率が高い場合があります。これは、初回の検索フェーズで文脈を絞り込むために、生成フェーズで処理が必要なデータ量も減るためです。

検索拡張生成は現在どのように使われているのか?

以下は、現在RAGモデルが使用されている実例の一部です:

• 顧客サポートの向上: RAGは、顧客の問い合わせに対してよりパーソナライズされた正確な回答を提供するため、高度なチャットボットやバーチャルアシスタントの構築に使用することができます。これにより、回答の高速化や運用効率の向上、さらにはサポート体験での顧客満足度の向上にもつながります。
• コンテンツ作成: RAGは、その生成機能を内外の関連する情報源からの情報検索と組み合わせることで、ブログ記事、製品カタログ、その他コンテンツの作成に役立てることができます。
• 市場調査の実施: RAGは、新着ニュース、業界の調査報告、ソーシャルメディアの投稿など、インターネットで利用可能な大量のデータからインサイトを収集することで、企業による市場動向の把握し、競合他社の動きの分析まで実現し、より良い意思決定を支援します。
• 営業支援: RAGはバーチャルの営業アシスタントとして機能し、在庫品に関する顧客からの質問回答、製品仕様の検索、操作説明を行い、一般的な購買ライフサイクルを支援します。製品カタログ、価格情報、その他のデータだけでなくソーシャルメディアに投稿された顧客のレビューも生成機能と組み合わせることで、RAGはパーソナライズされたレコメンデーションの提供、顧客の懸念点への対応、購買体験の向上を実現することができます。
• 従業員体験の向上: RAGは、従業員が専門知識の中央リポジトリを作成し共有するのに役立ちます。RAGを社内のデータベースや文書と統合することで、社内業務、福利厚生、プロセス、文化、組織構造などに関する従業員からの質問へ正確に回答することができます。

CohesityとAI

CohesityのプラットフォームはRAGベースの大規模言語モデル (LLM) に対応した “AI Ready” で、CohesityはAI黎明期の最前線にいます。Cohesityの画期的なアプローチは、Cohesityが特許取得済みのSnapTreeやSpanFSアーキテクチャの堅牢なファイルシステムを活用することで、RAG主導のAIシステムに強固でドメインに特化した文脈を提供します。これを実現するため、オンデマンドの埋め込みインデックスがデータをリクエストするAIアプリケーションへジャストインタイムで提供されます。さらに、このデータはCohesityのRBAC (ロールベースのアクセス制御) モデルで保護されます。

現在開発中のCohesity RAGプラットフォームは、質問やクエリといった入力を、人間と機械のどちらからでも受け付けます。こうした入力は、ペタバイト単位になる企業のバックアップデータを、文脈に沿った小さなデータのサブセットに素早く絞り込むキーワードを使ってトークン化されます。そして、これらの文書やオブジェクトの中から質問やクエリに最も関連する表現を選択します。その結果は、元のクエリと一緒にGPT4などのLLMへパッケージ化され、文脈に沿った人間のような回答が提供されます。このアプローチは革新的で、生成された回答が詳細かつ最新なだけでなく、多様性があり特定のビジネスコンテンツに関連したものであることも保証されます。

Cohesityのユーザーは企業独自のデータセットにRAG層を追加することで、LLMに “どんな回答をするか” を教えるために、膨大なデータに対しコストのかかる微調整や長時間のトレーニングを実施する必要がなくなります。RAGモデルは、急速に増加し変化し続けるデータセットに適応できる柔軟性を備えているため、時間とコストが節約でき、環境への影響も減ります。このような理由から、CohesityプラットフォームのRAGを活用すると、どんなクエリにも最新かつ関連性の高い文脈を提供することができます。

CohesityのRAG対応プラットフォームは、データストレージ要件を大幅に増やすことなく、既成のLLMよりも知識が豊富で多様な、関連性の高い回答を生成します。この飛躍的な進歩には、企業のQ&A (質問と回答) アプリケーションや業界の検索と発見モデルに新たな革新を起こす大きな可能性があります。

同様に、テクノロジーやビジネスのリーダーにも、CohesityのRAG主導型AIシステムでデータ駆動型のインサイトが持つ力を活用し、AI主導の会話の質を高めるという独自の機会を得ることができます。AIによって強化されたCohesityのデータ管理とデータセキュリティソリューションの力を利用することで、組織は新たなレベルの効率性、革新、成長を実現することができます。

詳しくはAI eBookをお読みください。