画像で描かれた図をAI3種に12回読ませ検証

中小企業基盤整備機構の報告書に載っている図23は、棒のラベルも n も凡例もPDFのテキスト層に残っていないラスタ画像です。この図をClaude・ChatGPT・Geminiに各2回ずつ、数値を聞く設問と図の作りを聞く設問の2種類で計12回・延べ30問読ませた結果、30問のうち28問が正解、残る2問も要素の一部だけが誤る部分正解で、回ごとに違っていたのは正誤ではなくその答えをどこから得たかの示し方でした。

最終確認

2026-08-23

実測日

2026-08-22

対象

中小企業基盤整備機構「中小企業のAI等の利活用に係る実態調査」全体版（令和８年３月）の図23（問9 AI・ITの導入効果）

確認範囲

この報告書の図23という1つのラスタ図。他のPDF・他の図種は対象外

更新周期

更新なし

何を、どのような条件で読ませたか

対象は1つの図、設問は2種類、実行は計12回です。条件は次のとおり揃えました。取れなかった記録は「記録していない」と書いています。

質問文は弾ごとに1つの文面を用意し、コピー＆ペーストで全回に同じものを貼っています。図が画像であることは質問文に書いていません。文面は design/plan-pdf-figure-reading-2026.md と design/plan-pdf-figure-structure-2026.md に、出力の全文は design/measure/raw/reading/ と design/measure/raw/structure/ に、判定は2つのCSVに残しています。

対象PDF：中小企業のAI等の利活用に係る実態調査（全体版）／手元の同一ファイルは design/collect/raw/sme-ai-adoption-2026/pdf/202603_AI_report.pdf。shasum -a 256 の値は b0b3798decabbed2e327f7b9d03fd30031f583b3a5bc809d5b6ee811a993c0c8 です。

なぜこの図でなければ測れないのか

聞いた2つの値が、PDFのテキスト層のどこにも無いからです。テキストだけを読めば、答えは出ないか、同じ項目名の別の数字になります。

pdftotext -layout でPDF17ページだけを抽出すると、出てくるのは節見出し「２．AI・IT の導入効果」、囲みの3行、項見出し「（1-1）AI・IT の導入効果（複数回答）」、注記「※AI・IT を【既に導入している】と回答した方のみ」、地の文、キャプション「図 23（問 9 AI・IT の導入効果）」、ノンブル「13」です。棒のラベルも、AI n=327・IT n=900 の n も、目盛りの「0%」も1つも出ません。

全70ページを同じ方法で抽出した3,468行を検索しても、17.8 と 11.6 はどちらも0件です。同じページの地の文に書かれているIT側の値は「業務効率化／作業時間の短縮」89.1％、「エラー・ミスの軽減」39.8％、「人手不足対応」32.3％の3項目で、聞いた2項目はここにもありません。

巻末の集計表は表3から表10までで、表3・表4が導入目的、表5・表6が導入効果、表7・表8が阻害要因、表9・表10が運用課題です。表5（企業属性別の導入効果）と表6（売上高等別の導入効果）の全体行は、件数327、続く割合が 83.2／33.9／30.6／22.3／21.4／17.4／13.1／3.1 で、図23のAI側（n=327）と一致します。IT側（n=900）の導入効果は、表3から表10を確認した範囲では見当たりません。

そのためテキスト層には、同じ項目名の、もっともらしい別の数字が用意されている状態になります。「コスト削減」なら13.1（AI側）、「売上拡大・顧客獲得」なら17.4（AI側）です。図を読まずに答えれば、この2つが返ります。

第2弾で聞いた3項目（描き分け・凡例の位置・目盛りの位置と刻み）は、色も配置もテキスト層に文字として存在しません。

12回の答えはどうなったか

12回とも図番号「図23」と印字ページ「13」を正しく挙げ、延べ30問のうち28問が正解でした。残る2問はどちらも第2弾のQ1で、要素の一部が誤る部分正解です。

第1弾の正解は「コスト削減」17.8％・「売上拡大・顧客獲得」11.6％で、12回のうち第1弾の6回はいずれもこの2値を答え、読み取り元の自己申告も6回とも「図の中」でした。AI側の13.1／17.4に取り違えた回はありません。

第2弾の正解は、AI側＝青地に白い点／IT側＝白地に青い点で各項目の上がAI、凡例はグラフの下で左がAI・右がIT、目盛りはグラフの上端で0％から100％の20％刻みです。判定が正解にならなかった2問は、どちらも描き分けを聞いたQ1です。凡例の位置と目盛りの位置・刻みは、12回のうち第2弾の6回すべてが正解しました。

「根拠の書き方」の欄は、2つのCSVの evidence_type 列に入れた区分を日本語にしたものです。この区分は記録のための名前であって、良し悪しの評価ではありません。対応は、本文と巻末集計表の両方に無いことを述べた＝negative_check、無いことや読み取れなかったことを一部述べた＝absence_stated、再現できる手続きを書いた／独立した2系統で照合した＝procedure_stated、見た場所を述べた＝positive_only です。

このうち procedure_stated は、第2弾の実測が終わったあとに足した区分です。当初の区分は第1弾のために作ったもので、裏づけの厚さを「その値が他の場所に無いことをどこまで潰したか」で分けていました（本文と巻末集計表の両方＝negative_check、本文のみ＝absence_stated、潰していない＝positive_only）。第2弾で聞いたのは色と配置で、潰す先の「他の場所」がありません。この基準のままだと、手続きを書いた回も見た場所だけを書いた回と同じ positive_only に入ります。そこで2026-08-23に区分を1つ足し、12回のうち1回（第2弾のClaude2回目）をそこへ移しました。第1弾6回の判定は変えていません。区分の定義と、足した経緯は design/plan-pdf-figure-structure-2026.md に書いています。

根拠の示し方はどこで分かれたか

12回とも設問どおり根拠を書いています。分かれたのは、「その値が他の場所には無い」ことをどこまで述べたか、どうやって見たかを再現できる形で書いたかです。

第1弾で、Claudeの1回目は「13ページの本文で言及されているIT側の数値は…3項目のみで、今回の2項目は本文には出てきません」と書き、本文にその値が無いことを述べました。2回目はこれに加えて「巻末の集計表（表3〜表6）はAI側の集計であり、図23のIT値は掲載されていないため、いずれも図中の数値ラベルからの読み取りです」と書いています。

この2回目の主張は、報告書のPDFで検算できます。表5・表6の全体行が図23のAI側と一致し、17.8 と 11.6 が全文で0件であることは、上の節に書いたとおりです。表3・表4が導入目的、表5・表6が導入効果という対応も、キャプションと一致します。

ChatGPTの1回目は「図23のIT側（白地に青いドットの棒）の右端に印字された数値を直接読み取りました。本文段落には、この2項目のIT側数値は記載されていません」と書いています。棒の見た目に触れた記述が、色や塗りを聞いていない第1弾の時点で出ています。2回目は「図の中（グラフに印字された数値）」という自己申告だけで、1回目にあった棒の見た目と本文の不在の記述は現れていません。

Geminiは第1弾の2回とも、設問が求めた3項目（数値・ページ・読み取り元）を書き、それ以外の記述はありません。

第2弾では、Claudeの2回目が「ページを200dpiで画像化し、棒と凡例を拡大して目視」と手順を書き、凡例のマーカーの柄と各項目の棒の柄が一致すること、本文記載の数値が上下の棒のラベルと対応することの2つを挙げています。解像度と見た領域が書かれているため、同じ手順を他の人がなぞれます。Claudeの1回目は、凡例枠の有無・目盛線の線種・軸線の有無の3点を「この解像度では判別できませんでした」と、読み取れなかった側を書いています。ChatGPTとGeminiの第2弾4回は、いずれも「印字ページ13の図23の棒そのものと、その下の凡例を見て判断できます」のように、見た場所を示す形です。

図に無いものを述べた回はあったか

3回あります。いずれも第2弾で、答えの主要部分は正しく、付け足した記述や色の指定が図と合いませんでした。

1つめは、Claudeの1回目のQ1です。「AIの棒は濃い青のベタ／網点で塗りつぶされ、ITの棒は白地に細かいドット（薄い網掛け）」までは図と一致しますが、続けて「色ではなくパターンの濃淡で区別する作りになっています」と書いています。図23はAI側の地が青、IT側の地が白で、色でも区別されています。

2つめは、Claudeの2回目の末尾です。「棒の間の項目区切りは細い横線で仕切られています」と書いていますが、「品質向上」と「付加価値創出」の間を400dpiで切り出して見た範囲では、そこにあるのは目盛りから下りている縦のガイド線だけで、横に走る仕切り線は見当たりません。同じ回のQ1〜Q3は3問とも正解で、手続きも書かれています。それでも、設問で聞いていない部分に図と合わない記述が足されています。

3つめは、Geminiの2回目のQ1です。「ITの棒は白色ベースに黒い網掛け（ドット）模様」と書いています。凡例の見本を400dpiで描画し、枠線を含めない内側36×36画素を切り出して画素を数えると、次のようになります。

切り出しに使ったコマンドは次の2つです。

pdftoppm -f 17 -l 17 -r 400 -x 1175 -y 4080 -W 36 -H 36 202603_AI_report.pdf ai
pdftoppm -f 17 -l 17 -r 400 -x 1645 -y 4080 -W 36 -H 36 202603_AI_report.pdf it

判定規則は、青系＝Bの値がRよりもGよりも30を超えて大きい、白系＝R・G・Bがすべて200超、黒系＝R・G・Bがすべて60未満です。AI側の最頻色は RGB(0,90,255) で1,296画素中787画素、IT側の最頻色は RGB(255,255,255) で1,056画素です。

IT側の見本の内側に、黒系の画素は1つもありません。IT側を -x 1635 -y 4070 -W 56 -H 56 として枠線ごと切り出すと黒系が328画素現れますが、そのすべてが外周5画素の帯にあり、そこから内側には出ません（AI側を -x 1165 -y 4070 で同様に切り出した場合は376画素で、やはり外周5画素の帯だけです）。IT側の青系画素には RGB(15,99,255) が含まれます。Geminiの1回目は「白色をベースとした網掛け（ドット柄）」と書いて点の色に触れておらず、2回目に触れて外した形になっています。

描き分けの誤りが挙がらなかった4回（ChatGPT2回・Geminiの1回目・Claudeの2回目）のQ1も、同じ画素の値と照らしています。ChatGPTの1回目は「AI：青く塗られた棒で、内部に細かな白い点状のパターンがあります」「IT：白地の棒で、内部に青い細かな点状のパターンがあります」と、両側の地の色と点の色を書き、「上がAI、下がITの順」としています。地・点・上下のいずれも上の画素の値と食い違いません。ChatGPTの2回目は「青色をベースにしたドット状の網掛け」（AI）「白色をベースにした青いドット状の網掛け」（IT）で、IT側の点の色は書いていますが、AI側の点の色には触れていません。Geminiの1回目は両側とも「網掛け（ドット柄）」までで、点の色に触れていません。Claudeの2回目は「AI＝濃い青の塗りつぶし＋白の細かいドット模様、IT＝白（無地）地に青の細かいドット模様」と両側の地と点を書いており、こちらも画素の値と食い違いません。

回ごとの違いは1つのサービスだけの現象か

記録の上では、3サービスとも1回目と2回目で記述が同じではありませんでした。ただし、この12回はその違いの原因を測るようには作られていません。

Claudeは第1弾で1回目が本文の不在まで、2回目が本文と巻末集計表の両方まで述べ、第2弾では1回目が読み取れなかった点の明示、2回目が手続きの明示でした。ChatGPTは第1弾で1回目にあった棒の見た目と本文の不在の記述が2回目に現れず、第2弾では2回とも見た場所を示す形で揃っています。Geminiは第1弾の2回が同じ構成で、第2弾では1回目が点の色に触れず、2回目が触れて外しました。

メモリ設定は、設計ではオフにしたうえで実際の状態を記録することにしていました。そう書いてあるのは design/plan-pdf-figure-structure-2026.md で、オフにできない場合は on と書いて事情をCSVの notes に残す、としています。実際には第2弾の6回とも on で記録されており、notes に事情の記載はありません。オフにできなかったのか、途中で設計と違う運び方をしたのかは、CSVにも設計文書にも書かれておらず、この記録からは分かりません。過去チャット参照は12回とも設定の所在を確認できず「不明」と記録しました。会話は毎回新規ですが、この条件では、回ごとの違いが設定によるものか出力のばらつきかを切り分けられません。どちらであるかは、この12回からは決まりません。

検証対象に入れなかった記録には何が残っているか

統一プロンプトではなく前の回答を貼ってしまった回が3件あり、CSVには入れていません。そのうち1件に、視覚的な詳細は読めないという自己申告が残っています。

該当する3件は design/measure/raw/off-protocol/ に、注意書きの README.md とともに置いています。入力が統一プロンプトではないため、第2弾の測定結果としては集計していません。

このうちGeminiの回には、「『青色をベースとした網掛け（ドット柄）』といった棒の見た目や、凡例の正確な配置（枠外の中央寄りなど）といった視覚的・グラフィック的な詳細については、テキストデータのみからは直接確認できませんが、抽出されているデータの構成や数値と矛盾するものではありません」という記述があります。いっぽう統一プロンプトへの回答（第2弾の2回目）では、同じ内容について「グラフ内の各棒のデザインと並び順、およびグラフ下部にある凡例のマークから読み取りました」と書いています。

この2つは同じ問いへの答えではありません。前者は前の回答を貼られたことへの応答、後者は統一プロンプトへの応答で、入力が違います。「同じ条件で食い違った」とは言えません。ここに書けるのは、入力の違う2つの回にこの2つの記述が残っている、というところまでです。

この12回で何を言えて、何を言えないか

言えるのは、この図・この設問・この日の12回について、何を聞いて何が返り、その根拠が報告書のPDFで検算できたかまでです。サービスの優劣も、答えの揺れの大きさも、この12回からは決まりません。

言えること

言えないこと

なお、この調査そのものの数字の読み方（どの数字が何社を100%としているか）は、別記事の中小企業AI調査16個の数字の分母を調査票で確認と中小企業AI調査でAIとITの設問11組を対照で扱っています。この記事は、図の読み取りだけを対象にしています。

この記事は何を出典にしているか

1. 中小企業基盤整備機構｜中小企業のAI等の利活用に係る実態調査（全体版・令和８年３月）
2. design/measure/pdf-figure-reading-2026.csv（第1弾6回の記録）
3. design/measure/pdf-figure-structure-2026.csv（第2弾6回の記録）
4. design/measure/raw/reading/（第1弾の出力全文6件）
5. design/measure/raw/structure/（第2弾の出力全文6件）
6. design/measure/raw/off-protocol/（統一プロンプト外の3件と注意書き）
7. design/plan-pdf-figure-reading-2026.md（第1弾の設計と統一プロンプト）
8. design/plan-pdf-figure-structure-2026.md（第2弾の設計、正解、判定基準、区分の定義）
9. design/collect/raw/sme-ai-adoption-2026/pdf/202603_AI_report.pdf（照合に使った同一ファイル。sha256 b0b3798decabbed2e327f7b9d03fd30031f583b3a5bc809d5b6ee811a993c0c8）