検証可能AI
RAG
Retrieval-Augmented Generation
言語モデルの生成時に外部文書を検索し、その内容を回答に組み込む手法。モデル本体の重みを更新せずに最新情報・社内情報を扱える反面、引用の真正性が新しい論点となる。
定義
標準的な RAG パイプラインは四段で構成される。(1) クエリを embedding に変換、(2) ベクトル検索で関連文書を取得、(3) 文書をプロンプトに連結してモデルに入力、(4) モデルが文書を踏まえて応答。Meta が 2020 年に体系化、以降は産業実装の中心アーキテクチャ。
利点はモデルを再学習せずに最新情報・組織固有情報を扱える点、回答に「出典」を付与できる点。欠点は、検索された文書が改竄されている場合や引用が捏造される場合に検出が困難な点。
規制対応文脈で RAG を運用するには、検索対象文書の来歴と、回答中の引用が実際にその文書由来であることの両方を証明する仕組みが必要となる。ここに検証可能 AI の課題が顕在化する。
Lemma Oracle での実装
Lemma は RAG パイプラインに対し、(1) 検索対象文書群を CID と docHash で来歴固定、(2) 検索結果に プロヴナンス メタデータを付与、(3) 引用部分と本文の一致を 引用証明 で立証、という三層を提供する。
結果として、AI 回答に対する「この内容はこの文書から来た」「その文書は信頼できる発行元から来た」「文書は改竄されていない」を、コンテンツ自体を再提示することなく検証できる。
金融機関のリサーチ補助、医療情報の意思決定支援、法務 AI の判例引用など、引用の真正性が業務遂行責任に直結する領域で具体的な解として機能する。