RCRRベンチマーク公開：文書変換で「意味」はどれだけ生き残るか

本番のRAGパイプラインは、例外なく同じ一歩から始まる。文書のページが入力され、機械可読なテキストが出力される。だが、その変換で何が壊れているかを測っているところは、ほとんどない。本日公開するRCRRベンチマーク（reading-comprehension recovery：読解回復率）は、エンタープライズAIにとって本当に重要なただ一つの基準で文書変換を測る。ページがMarkdownになったあと、人間が元のページから答えられる質問に、AIも答えられるか。

商用OCR製品、オープンウェイトモデル、フロンティアの視覚言語モデル（VLM）APIまで、14の文書変換システムを、実在の日本語IR資料99ページ・独立に検証済みの1,410問で、同一条件のもと測定した。総合スコアは20.2から94.6まで開いた。文字を読むこと自体は、どのシステムにもできる。差が付くのは、使える意味がどれだけAIまで届くかだ。

問題：文字は残るのに、意味が残らない

日本のIR資料（決算説明資料や有価証券報告書）はスライド形式のページで、中身の実質は高密度の表と注釈付きのチャートに詰まっている。文字精度の指標では、変換がそこで何をしているかは見えない。印字されたトークンを一字残らず転記できていても、数値と棒の対応関係は失われ得る。ページは正しく見えて、それでも間違っていることがある。

「32」という数値は、固定費という項目・単位・期間と結び付いていなければ価値がない。RCRRが採点するのは、まさにその結び付きだ。

1ページ、1問

シンプルな質問をしてみる。増減要因のうち、減益幅が最も大きい項目はどれか。ページを見れば間違えようがない。固定費、▲32だ。ところがページ上部のコールアウトボックスが、わずか▲1のステップを価格 ▲23などの構成要素に分解しており、変換はここで失敗する。失敗には3つの型があり、このようなページ1枚で3つすべてが現れる。

• 脱落（omission）：事実がそもそもMarkdownに届かない。レガシーなパイプラインはチャートの中身をまるごと落とし、読解モデルは「情報なし」と答える。
• 切断（disassociation）：レイアウトOCRに典型的な失敗。ラベルも値もすべて残るが、別々のかたまりとして届く。読解モデルは誤った組み合わせをつなぎ直し、価格/MIX ▲23と答える。
• 誤帰属（misattribution）：生成型変換に典型的な失敗で、いちばん高くつく。構造は一見きれいなまま、対応関係が1本だけ静かに入れ違い、AIは拒否ではなく自信に満ちた誤答を返す。

文字精度の基準で見るかぎり、どの変換にも問題はない。RCRRは3つとも、実態のとおり「壊れた意味」として採点する。

RCRRの仕組み

• TDnetで公表された一般に入手可能な開示資料から、実在の1ページ文書99件（表中心50件、チャート中心49件）、検証済み1,410問。答えはすべてページに印字されている。
• 読解モデル（Reader）は変換後のMarkdownだけを見て1回の呼び出しにつき1問に答え、情報がなければ回答を拒否する。独立した採点モデル（Judge）が0/1/2で採点し、日本の財務単位（億円/百万円/千円）の明示的なルールを持つ。
• 構成は出典バイアスを断つように選んだ。ゴールドはGemini 3.1 Pro（テキスト・表）とFable 5（チャート）の支援で作成しているため、Readerはあえて第三のファミリー（GPT-5.4-mini）、JudgeはReaderと別のファミリー（Gemini 3.5 Flash）とした。
• 統計は95%クラスターブートストラップ信頼区間。質問単位ではなくページ単位でリサンプリングし、統計的同等（有意差なし）は同等と明記する。
• フロンティアVLM APIはページ画像入力で評価した。実運用では100ページを超えるPDFをページ単位で処理するのが現実的な利用形態だからだ。OCR製品は各製品のネイティブなPDF取り込みで評価した。
• 採点前の品質管理として、2つのモデルファミリーによる全問の公平性監査、自己完結フィルター、文書なしのコンタミネーション（汚染）チェック（記憶だけで答えられる質問はゼロ）、ジオメトリ依存質問の除外を実施した。

結果：14システム、1つの物差し

Nebula Frontier（フロンティアVLM APIをUr AIの変換パイプラインで動かす構成。全ページ変換とPDFテキスト層の併用）は94.4で、評価したドキュメントAI製品の中で最高スコアとなった。最新フロンティアVLM APIと統計的同等（有意差なし）、Azure Document Intelligenceには6.2ポイント差で有意に上回り、テキスト・表では全システム中最高の94.3。この最後の数字はパイプライン設計の成果だ。変換時にPDFに埋め込まれたテキスト層を併用することで、ピクセルだけの読み取りでは届かない、高密度な財務表での桁単位の精度が得られる。

Nebula Sovereign（fine-tuning済みQwen3-VL-32Bを顧客管理のGPUだけで動かす完全自社ホスト版）は87.3で、Azure Document Intelligenceと統計的同等（有意差なし）。文書は顧客のインフラから一切外に出ない。fine-tuningの効果は主張ではなく測定で、ベースモデルに同一のベンチマークを走らせると81.1。ウェイトの違いだけで総合+6.2、テキスト・表で+8.1が積み上がっている。

市場を分けるのはチャートだ。答えがチャートの中に印字されている207問では、レガシーなパイプラインは17～46に崩れ、Azure DIもテキストのスコアから22ポイント落ちて69.1になる。一方、フロンティアVLM変換は94～98を保ち、Nebula Frontierも94.7を保つ。自社ホストでも、Nebula Sovereignの77.3は評価したすべてのドキュメントOCR製品をこの軸で上回った。文書にチャートが含まれるなら（日本のIR資料はチャートでできている）、あなたのAIが実際に何を知ることになるかを予測するのは、この列だ。

挑戦されるために作った

自社製品がテーブルに載るベンチマークを公開するベンダーには、自らのバイアスに疑い深くある義務がある。全質問は2つの独立したモデルファミリーが元のページ画像と突き合わせる公平性監査を通過し、文書なしのコントロール実験で記憶だけで答えられる質問がゼロであることを確認し、ジオメトリ推定が必要な質問はすべてのテキストパイプラインに不公平として除外した。ゴールドの出典が特定ファミリーを有利にし得る箇所は、システムを隠すのではなく該当行に開示を付けた。公開データには両Reader・両Judge・全システムの1問ごとの結果を収録しており、レポートの全数値はオフラインで再計算できる。自社製品の失敗例も、そのまま公開している。

次にやること

• 人手作成のゴールド。今回検証できたのは、VLMが作成した質問で検証できる範囲であり、それは定義上、VLMが読み取れた内容に偏る。人間には答えられるがVLMには難しい質問こそ、次に測るべき能力差だ。
• Sovereignのチャート強化。抽出済みの149件のチャート帰属失敗が次のfine-tuningサイクルの中身を決める。より新しい世代のオープンウェイトモデルの評価も並行する。目標は、チャートマッピングでまずベースモデルと同等以上、その先に90超。
• 印字テキストの先へ。実在する日本のIRチャートページのおよそ半分は、データラベルを一切印字していない。ジオメトリ推定という次の能力フロンティアを測るトラックは、本ベンチマークにすでに用意してある。