RCRR技術レポート：日本のIR資料の「意味」を保てるドキュメント変換システムはどれか
RCRR技術レポートの全文。主要比較14システム、実在の日本語IR資料99ページ、検証済み1,410問をエンドツーエンドで測定。手法、実例、統計、ゴールドの出典、限界まで、結果に挑戦するために必要なすべてを公開する。
これはRCRRベンチマークの技術レポート全文である。商用OCR製品からオープンウェイトモデル、フロンティアの視覚言語モデル（VLM）APIまで、14のドキュメント変換システムを、エンタープライズAIにとって本当に重要なただ一つの基準で測定した。日本のIR資料のページをMarkdownに変換したあと、人間が元の画像から読み取って答えられる質問に、AIも答えられるか。
検証済みの全1,410問で、スコアは20.2から94.6まで開いた。どの値がどの系列・セグメント・年度のものかというチャートの構造が問われる質問では、OCR製品に残る意味は6分の1程度（17～46）まで落ち込むのに対し、VLMベースの変換は94～98を保つ。
Ur AIのドキュメント変換システムNebulaは、2つの提供形態それぞれで測定した。フロンティアVLM APIをUr AIの変換パイプラインに載せて動かすNebula Frontierは総合94.4。最新フロンティアVLM API（Fable 5の94.6、GPT-5.6 Solの94.0、Gemini 3.1 Proの93.7）とはいずれも統計的同等（有意差なし）で、テキスト・表では全システム中最高の94.3を記録し、Microsoft Azure Document Intelligence（88.2）を有意に上回った。fine-tuning済みのQwen3-VL-32Bを自社ホストのGPUだけで完結して動かすNebula Sovereignは総合87.3。Azure DIと統計的同等（有意差なし）で、フロンティア構成との差は7.1ポイント。文書は顧客管理のインフラから一切外に出ない。fine-tuningの効果だけで、同一の評価ハーネス上で、ベースモデルから総合+6.2ポイント（テキスト・表では+8.1）の向上が得られている。
主要な結果
- ドキュメントAIを分けるのは、文字認識の精度ではなく、「意味」がどれだけ残るか。同じページに対して、総合スコアは20.2から94.6まで開いた。
- テキストと表はおおむね解決済み。差はチャートで決まる。チャート207問では、フロンティアVLM APIが94～98、Nebula Frontierが94.7を保持。Nebula Sovereign（77.3）は評価したすべてのドキュメントOCR製品を上回った（Azure DIは69.1）。レガシーなパイプラインは17～46にとどまる。
- Nebula Frontierは最新フロンティアVLM APIと統計的同等（有意差なし）（Fable 5と−0.2、GPT-5.6 Solと+0.4、Gemini 3.1 Proと+0.7）。テキスト・表の94.3は全システム中最高で、変換時にPDFのテキスト層を併用するパイプライン設計が高密度な財務表で効いている。Azure DIには+6.2 [+4.0, +8.5]で有意に上回る。
- 自社ホストの独自ウェイトモデルが、商用クラウドOCRの最高峰と並んだ。Nebula Sovereignの87.3とAzure DIの88.2は統計的同等（有意差なし）。文書はすべて顧客の管理するインフラにとどまる。
- fine-tuningの効果は主張ではなく測定：総合+6.2、テキスト・表で+8.1。ページ・質問・Reader・Judgeをすべて揃え、違いはウェイトだけ。
1. なぜこのベンチマークを作ったのか
日本のIR資料（決算説明資料や有価証券報告書）はスライド形式のページで、中身の実質は高密度の表、注釈付きのチャート、そしてその構造そのものに詰まっている。LLMがこうしたページについての質問に答えるには、まず画像をテキストに変換しなければならない。本番稼働中のRAGパイプラインは例外なくこの変換を挟んでいるが、変換で何が壊れているかを測っているところは、ほとんどない。
文字精度の指標では、この問題は見えない。印字されたトークンを一字残らず転記できていても、その数値がどの棒のものかは失われ得るからだ。だから下流で測る。RCRR（reading-comprehension recovery：読解回復率）では、読解モデル（Reader）が変換後のMarkdownだけを頼りに検証済みの質問へ回答し、独立した採点モデル（Judge）がゴールドと照合して採点する。スコアが表すのは、回答可能だった意味のうち、変換後も残っていた割合である。
2. RCRRが捉えるもの：実例でたどる
Q：2026年上期予想の事業利益増減要因のうち、減益幅が最も大きい項目はどれか。Gold：固定費。10本のステップのうち減益は6つで、最大は固定費 ▲32。落とし穴はページ上部にある。コールアウトボックスが、わずか▲1の価格/MIXステップを価格 ▲23、MIX +17、棚卸未実現 +4に分解しているのだ。ページを直接見れば読み違えようがない。▲23があくまで▲1のステップの内訳であることは明らかで、それがページ最大の減益に化けるのは、変換が階層を保てなかったときだけだ。そして以下の変換は、まさにそのとおりに失敗する。
Azure Document Intelligence：文字は全部残るのに、つながりが全部失われる
価格 / ▲23 / +17 / … / 原料価格 / 販売量 / 物流費等 / … / 製造原価 / 価格/MIX / 固定費 / OHT / 為替差 / ▲ 15 12 ▲4 1 +3 3 +18 +106 32 +68（実際の変換出力の抜粋）
ラベルはラベルだけでひとかたまり、値は値だけで別のかたまりになって届き、固定費の▲記号までもが32から切り離されている。ラベルと値の並びがほぼ唯一残ったのが、コールアウトの価格 ▲23。読解モデルはこの隣接関係をつなぎ直し、価格/MIX（▲23億円）と答える。項目も金額も違う答えを、自信たっぷりに返してくる。
Nebula Sovereign：構造は残るが、コールアウトが表に格上げされてしまう
| 項目 | 金額（億円） | 要因分類 |
|---|---|---|
| 価格 | ▲23 | 減益要因 |
| MIX | +17 | 増益要因 |
| 棚卸未実現 | +4 | 増益要因 |
実際の変換出力の抜粋。ウォーターフォール本体は固定費 ▲32も含めて出力の後半で正しく再構成されているが、このコールアウトが独立した要因テーブルに格上げされている。
「要因の内訳」を名乗る構造が2つ並んだとき、読解モデルは明示的な表のほうを信じ、ステップではなく内訳側の価格と答える。このシステムのfine-tuning元にあたるベースモデルは、この質問に固定費と正答する。これが§6で測定し、§7で次の対策対象に据えるチャート帰属のリグレッションである。
Nebula Frontier：構造もラベルも、階層ごと残る
| 順序 | 項目 | 種別 | 金額 |
|---|---|---|---|
| 1 | 前期 事業利益 | 開始 | 621 |
| 2 | 為替差 | 増益要因 | +18 |
| 4 | 販売量 | 減益要因 | ▲15 |
| 7 | 価格/MIX | 減益要因 | ▲1 |
| 8 | 固定費 | 減益要因 | ▲32 |
| 12 | 当期 事業利益 | 終了 | 750 |
実際の変換出力の抜粋。コールアウトは内訳と明記された下位の表にとどまり、▲23はそれが分解している価格/MIXステップに結び付いたまま。
| システム | 回答 | スコア | 失敗の型 |
|---|---|---|---|
| Nebula Frontier | 固定費（▲32） | 2 | なし |
| GPT-5.6 Sol / Fable 5 / Gemini 3.1 Pro | 固定費 | 2 | なし |
| Qwen3-VL-32B base | 固定費 | 2 | なし |
| Azure DI | 価格/MIX（▲23億円） | 0 | 切断（disassociation） |
| Nebula Sovereign | 価格 | 0 | 誤帰属（misattribution） |
| Textract / Docling | 情報なし | 0 | 脱落（omission） |
この質問の採点結果。脱落：事実がMarkdownに届かない。切断：文字は残るがつながりが残らない。誤帰属：構造は残るが対応が入れ違う。最も高くつく失敗で、拒否ではなく自信に満ちた誤答を返す。
3. 手法
- コーパス：TDnetで公表された一般に入手可能な開示資料から、実在の1ページ文書99件（表中心50件、チャート中心49件）。抜粋は評価と説明のためだけのもので、文書の権利はすべて各発行体に帰属する。
- 入力条件：フロンティアVLM APIはページ画像入力（300dpiレンダリング）で評価。実運用では100ページを超えるPDFをページ単位で処理するのが現実的な利用形態だからだ。OCR製品は各製品のネイティブなPDF取り込み。ベンダーのPDFファイル取り込みでの参考値（GPT-5.6 Solは94.6など）も公開データに収録している。
- 質問：全1,410問。Core（1,053問）は値の参照から複数ステップの推論まで。Mapping（357問）はページ画像から作成した関連付けの質問で、チャートのインクだけを出典とするチャートマッピングサブセット（207問）を含む。Mapping質問はすべて人手レビュー済み。全質問はテキスト・表（1,203問）とチャート（207問）の2軸のどちらかに属し、合わせると総合スコアになる。
- 採点前の品質管理：2つの独立したモデルファミリーによる全問の公平性監査、自己完結フィルター（73問除去）、文書なしのコンタミネーション（汚染）チェック（記憶だけで答えられる質問はゼロ）、ジオメトリ依存質問の除外。
- プロトコル：Readerは変換後のMarkdownだけを見て1回の呼び出しにつき1問に答え、情報がなければ回答を拒否する。Judgeはキャリブレーション済みの0/1/2ルーブリックで採点し、日本の財務単位、「記載なし」型ゴールド、言語中立性の明示的ルールを持つ。
- 統計：95%クラスターブートストラップ信頼区間。質問単位ではなくページ単位でリサンプリングする。「統計的同等（有意差なし）」は、ページ単位のペア差の信頼区間がゼロをまたぐことを指す。
ゴールドの出典（provenance）：Fable 5とGemini 3.1 Proの扱い
ゴールドはVLMの支援で作成した。テキスト・表はGemini 3.1 Pro、チャートはFable 5の視覚能力で、いずれも機械検証と人手レビューを経ている。評価構成は出典バイアスを断つように選んだ。Readerは第三のファミリー（GPT-5.4-mini）とし、ゴールドを作ったファミリーには文書を読ませない。Judge（Gemini 3.5 Flash）はReaderと別のファミリーとし、自分の答えを自分で採点させない。
ゴールド作成ファミリーのパーサー（Fable 5、Gemini 3.1 Pro）も同一条件で測定し、主要テーブルに掲載している。ただし、真の変換品質とは無関係にこれらを有利にし得るメカニズム（質問選択バイアス、ゴールドの言い回し、作成者と同じファミリーによる審査）が存在する。効果の大きさは測定できておらず、小さい可能性もあるが、該当行には出典注記を付し、本文の比較主張は出典の影響を受けないシステムを軸に構成した。とりわけチャート軸のFable 5（98.1）は、チャートのゴールド作成者自身のスコアであり、上限値の参考として読むべきである。採点への影響はない。Judgeが見るのはゴールドとGPTファミリーのReaderの回答だけで、ゴールドの出典がJudgeを通じて特定のパーサーを利することはない。
4. 結果：全14システム
| # | システム | タイプ | 総合（1,410問） | テキスト・表（1,203問） | チャート（207問） |
|---|---|---|---|---|---|
| 1 | Fable 5 †§ | VLM API（画像入力） | 94.6 [93.2, 95.8] | 94.0 | 98.1 |
| 2 | Nebula Frontier ¹ | フロンティアVLM APIに対するUr AIオーケストレーション | 94.4 [93.0, 95.7] | 94.3 | 94.7 |
| 3 | GPT-5.6 Sol † | VLM API（画像入力） | 94.0 [92.6, 95.2] | 93.4 | 97.1 |
| 4 | Gemini 3.1 Pro †§ | VLM API（画像入力） | 93.7 [92.1, 95.2] | 93.1 | 97.1 |
| 5 | Azure Document Intelligence | OCR製品 | 88.2 [85.5, 90.6] | 91.5 | 69.1 |
| 6 | Nebula Sovereign ¹ | Ur AI独自ウェイトモデル・自社ホスト | 87.3 [84.3, 89.9] | 89.0 | 77.3 |
| 7 | Reducto | OCR製品 | 85.9 [82.6, 88.8] | 88.5 | 70.8 |
| 8 | Qwen3-VL-32B（ベース） | オープンウェイト | 81.1 [77.2, 84.5] | 80.9 | 82.4 |
| 9 | olmOCR | オープンウェイト | 78.8 [75.2, 82.3] | 84.3 | 46.4 |
| 10 | Mistral OCR | OCR製品 | 73.6 [68.1, 78.6] | 82.4 | 22.2 |
| 11 | Marker | オープンソース | 69.7 [63.9, 75.1] | 78.6 | 17.6 |
| 12 | Docling | オープンソース | 65.9 [60.3, 71.0] | 74.2 | 17.1 |
| 13 | LlamaParse | OCR製品 | 65.8 [60.7, 70.6] | 71.3 | 34.1 |
| 14 | AWS Textract ‡ | OCR製品 | 20.2 [17.2, 23.5] | 20.7 | 17.4 |
¹ Nebula Frontier＝フロンティア・オーケストレーション構成（全ページ変換、PDFテキスト層の併用）、Nebula Sovereign＝完全自社ホスト・fine-tuning済み構成。† 汎用VLM APIに詳細な日本語IR変換プロンプトを与え、ページ画像を入力。§ ゴールド出典ファミリー（§3参照）。‡ TextractはMarkdownをネイティブに出力しないため、ブロック出力の標準的な変換を使用。
- Nebula Frontier対フロンティアVLM API：対Fable 5は−0.2 [−1.2, +0.8]、対GPT-5.6 Solは+0.4 [−0.8, +1.6]、対Gemini 3.1 Proは+0.7 [−0.6, +2.1]。テーブル最上位は4システムの統計的同等圏。対Azure DIは+6.2 [+4.0, +8.5]で有意。
- テキスト・表の首位はNebula Frontierの94.3（対Azure DI +2.8 [+1.3, +4.4]、有意）。
- 2ティア間の差：+7.1 [+4.9, +9.6]、有意。自社製品を基準に測った、本レポートの主要なフロンティアギャップ。
- Nebula Sovereign対Azure DIはトレードオフ：テキスト・表はAzureがわずかに優位（−2.5、有意）、チャートはNebulaが優位（+8.2 [+0.0, +16.6]）、総合は統計的同等（有意差なし）（−1.0 [−3.8, +1.8]）。
- fine-tuning効果（Sovereign対ベースQwen3-VL-32B）：総合+6.2 [+2.1, +10.3]、テキスト・表+8.1 [+4.0, +12.4]。ページ・質問・Reader・Judgeすべてを揃えた測定。
5. ドキュメントAIの差はチャートで決まる
テキスト・表の軸では、各システムの差はかつてなく小さい。14システム中11システムが74点超で、上位6システムは3ポイントの幅に収まる。市場が分かれるのはチャート列だ。レガシーなパイプラインはここで崩れる。Docling 17.1、Textract 17.4、Marker 17.6、Mistral OCR 22.2（図を画像参照として書き出すため、意味がまるごと消える）、LlamaParse 34.1。表処理では世界最高水準のAzure DIでさえ、テキストのスコアから22ポイント落ちて69.1になる。VLMベースの変換は質的に別物で、フロンティアVLM APIは94～98、Nebula Frontierは94.7を保持する。外部APIを一切使わずに動くシステムに限れば、Nebula Sovereignの77.3が評価したすべてのドキュメントOCR製品を上回る。
6. fine-tuningは効く：主張ではなく測定
| 総合 | テキスト・表 | チャート | |
|---|---|---|---|
| Qwen3-VL-32B base | 81.1 | 80.9 | 82.4 |
| Nebula Sovereign | 87.3 | 89.0 | 77.3 |
| Δ | +6.2（有意） | +8.1（有意） | −5.1（n.s.） |
ベースモデルとfine-tuning済みモデルに、まったく同じベンチマークを走らせた。違いはウェイトだけ。
fine-tuningで得たのはテキスト・表の+8.1ポイント（カバレッジ、数値精度、表の忠実性）で、中位のオープンモデルが商用クラウドOCRの最高峰と統計的同等（有意差なし）の位置まで上がった。一方で、ベースモデルが素で備えていたチャート帰属の忠実性を、測定できる（ただし統計的には有意でない）分だけ失っている。リグレッションをあえて公表するのは、自社モデルの弱点を検出できるベンチマークこそ、それを直すための計測器でもあるからだ。
7. 限界と今後
- テキストの先のフロンティア：実在する日本のIRチャートページのおよそ半分は、データラベルを一切印字していない。内容はジオメトリからしか読めない。こうした質問はテキストパイプラインに不公平なので除外したが、探索的な実行ではフロンティアVLMが値を推定して40～72%に正答する一方、OCR製品はほぼゼロだった。この次の能力フロンティアを測るトラックは、本ベンチマークにすでに用意してある。
- Sovereignのチャート強化：抽出済みの149件のチャート帰属失敗が次のトレーニングサイクルの中身を決める。より新しい世代のオープンウェイトモデルの採用も検討する。目標は、チャートマッピングでまずベースモデルと同等以上、その先に90超。
- ゴールドの出典と人手作成ゴールド：本ベンチマークで検証できたのは、VLMがページ単位で作成できたゴールドに限られる。VLMが作れる質問は、定義上、VLMが読み取れた内容に偏る。次のステップは人手作成ゴールドの追加だ。人間には答えられるがVLMには難しい質問こそ、次に測るべき能力差である。
- 規模：99ページ（うちチャートページ48件）では、チャートマッピングの信頼区間は±8～9になる。今後のリリースでページセットを拡大する。
- データソース：ベンチマークのコーパスもfine-tuningデータも、一般に入手可能な文書（主にTDnetの開示資料）で構成し、両者に重複はない。ベンチマークの99ページは1ページもトレーニングデータに含まれないため、§6の効果は記憶ではなく未知文書への能力を反映している。企業名と文書の抜粋は事実に基づく評価資料としてのみ掲載し、商標と文書の権利はすべて各権利者に帰属する。
付録：追加の実例
| システム | 回答 | スコア | 失敗の型 |
|---|---|---|---|
| GPT-5.6 Sol / Fable 5 / Gemini 3.1 Pro | 871百万円 | 2 | なし |
| Nebula Frontier | 5,600百万円 | 0 | 誤帰属：隣の修正計画の棒を答える |
| Azure DI | 情報なし | 0 | 切断 |
| Nebula Sovereign | 4,729百万円 | 0 | 誤帰属 |
| Qwen3-VL-32B base | 4,729百万円 | 0 | fine-tuning後の後継モデルと同じ誤帰属 |
| Textract / Docling | 情報なし | 0 | 脱落 |
この質問では、Nebula Frontierを含む複数のシステムが、それぞれに特徴的な型で失敗する。自社製品の失敗例をそのまま載せるのは、このベンチマークが自社に甘くないことの証明でもある。
採点ルーブリック（0/1/2。日本の財務単位の換算、「記載なし」型ゴールド、言語中立性、正しい値に矛盾が併記された場合のスコア上限の明示的ルールを含む）は、どのシステムの採点よりも前に、既知の難問を含む層化パイロットでキャリブレーションした。Mapping質問は厳格なルール（必要な値を質問文に入れない、答えはページに印字されていること、チャート質問はチャートのインクだけで答えられること）の下で作成し、機械検証、2ファミリーによる独立監査、1問ずつの人手レビューを経ている。
公開ベンチマークデータ（github.com/ur-ai-net/rcrr-bench）には、全質問・全ゴールド・全システムの1問ごとの結果（両Reader×両Judge）・監査とコンタミネーションチェックの出力・評価ハーネス一式を収録しており、本レポートの全数値はオフラインで再計算できる。Nebula Frontierは nebula.ur-ai.net で稼働中。APIドキュメント：ocr.ur-ai.net/docs。
よくある質問
RCRRとは何の略か？
RCRRはreading-comprehension recovery（読解回復率）の略。文書変換後に残った「回答可能な意味」の割合を測る。読解モデル（Reader）が変換後のMarkdownだけを頼りに検証済みの質問へ回答し、独立した採点モデル（Judge）がキャリブレーション済みの0/1/2ルーブリックでゴールドと照合して採点する。
文書変換の3つの失敗の型とは？
脱落（omission）：事実がそもそもMarkdownに届かない。切断（disassociation）：文字はすべて残るが、ラベルと値のつながりが失われる。レイアウトOCRに典型的な失敗。誤帰属（misattribution）：構造は一見きれいなまま、対応関係が1本だけ静かに入れ違う。生成型変換に典型的な失敗で、拒否ではなく自信に満ちた誤答を返すため、いちばん高くつく。
RCRRベンチマークでは出典バイアスをどう扱っているか？
ゴールドはVLMの支援で作成しているため（テキスト・表はGemini 3.1 Pro、チャートはFable 5。いずれも人手レビュー済み）、評価構成で出典の連鎖を断っている。Readerは第三のファミリー（GPT-5.4-mini）、JudgeはReaderと別のファミリー（Gemini 3.5 Flash）。ゴールド作成ファミリーのパーサーは出典を明示したうえで結果に掲載し、本文の比較主張は出典の影響を受けないシステムを軸に構成している。
