Claude Code報告の数値と定義を3文書照合

Anthropic が2026年6月16日に公開した Claude Code の利用分析は、コードが1行以上追加または変更されたセッションのうち、ソフトウェア関連職の verified success（確認された成功）が34%、それ以外の判別できた職種が29%だったと記載しています。この「成功」は会話記録をモデルが読んで判定したもので、職種を推定できた約70%のセッションだけが職種分析の対象です。

最終確認

2026-08-15

対象

Anthropic「Agentic coding and persistent returns to expertise」（2026年6月16日公開）とその Appendix

確認範囲

リサーチページ本文と、レポートPDF・付録PDFの本文・図・表。数値の再計算はしていない

分析から除かれているもの

職種分析は約30%のセッション、成功の分析は約7.7%のセッション

更新周期

更新なし

この結果は「職種で成果に差がない」ことを示しているか

示していません。示されているのは、会話記録から判定した成功の割合が、職種の区分によってどれだけ違ったかです。レポート自身が「実世界の成果は測定できていない」と明記しています。

34%と29%は、コードが1行以上追加または変更されたセッションに限った verified success（確認された成功）の値。verified success とは、会話記録を読んだ分類器が Succeeded と判定し、かつ作業に対応するコミット、PRの作成またはマージ、テスト通過、目的に合う出力を返したコマンドの完了、利用者の明示的な確認、利用者が明示的に確認した最終成果物のいずれかが会話記録に現れたセッションを指す。

原文の該当箇所は次のとおりです。

Software engineers and users in other “computer and mathematical occupations” reach verified success in about 30% of their sessions overall, where users from other professions reach verified success about 26% of the time. Among sessions that produce code (i.e., sessions that add or modify at least one line of code), those numbers are 34% and 29% respectively. （レポートPDF 4.2節）

同じ箇所を、リサーチページは次の文で始めています。

People in software-related occupations reach verified success in about 30% of their sessions overall, while users from other professions reach verified success about 26% of the time. （リサーチページ）

「差は小さい」という評価は、レポート本文の表現です。原文は That five-point gap is small, and it has neither widened nor narrowed over seven months, even as the success rates in both groups increased. と書いています。この記事は、その5ポイントが小さいかどうかを判定しません。

何件を数えた分析で、何が除かれているか

付録PDFによれば、対象は39万8198セッション、23万4751ユーザーです。第三者IDE経由・SDK経由・人間のターンが0のセッション・Anthropic社内の利用は、あらかじめ対象から外れています。

Table A1 のキャプションが説明しているのは、列(4)〜(6)のセッション数がキャプションの375,687より少ないことについてです。集計の下限（aggregation limit）を下回るセルがあるため、と書かれています。一方、列(1)〜(3)の359,586と375,687の差（16,101セッション）については、付録PDF 25ページを画像として開いて確認した範囲では、説明にあたる記述が見当たりません。

職種の推定について、レポート本文は We were able to infer occupation in about 70% of sessions. と書いています。付録の定義節は、除外を次のように明記しています。

Sessions whose user profile is Unclear are excluded from occupation analyses (about 30% of sessions). （付録PDF「Derived measures and definitions」）

職種の分類器は、コードを書いているという事実を職業の根拠にしないよう指示されています。付録に載っている分類器プロンプトには The fact that someone is writing code in Claude Code is NOT evidence they are a software developer by profession — every CC user writes code. とあり、CLAUDE.md ファイル・ディレクトリ名・参照している成果物・語彙などの側面的な手がかりから判断させる設計です。手がかりがない場合は Unclear になります。

「成功」はどう定義されているか

付録PDFの定義節に、5つの語がそれぞれ定義されています。verified success は「Succeeded と判定され、かつ成功シグナルが4以上」という2条件です。

分類器の実行条件も付録に書かれています。各ターンは中央で5,000文字に、会話記録全体は25,000文字に切り詰めたうえでモデルに渡されます。分類器はタスク価値の推定を除き Claude Sonnet 4.6（temperature 0.2）で、タスク価値の推定は要約に Claude Haiku 4.5、価格付けに Opus 4.7 を使うと記載されています。

職種別の数値はどうなっているか

2区分では、全セッションで30%と26%、コードを生成したセッションで34%と29%です。上位10職種それぞれの値は Figure 6 の図の中に印字されており、verified success は27%から37%の範囲にあります。

「コードを生成したセッション」の範囲は、文書によって表記が分かれます。レポート本文は sessions that add or modify at least one line of code、Figure 6 のキャプションは sessions that add or change at least one line of code、付録の wrote code の定義は telemetry records at least one line of code added です。追加だけを数えるのか、変更を含むのかは、この3つの表記からは一つに定まりません。

89%と88%は、Succeeded に加えて Partially Succeeded を含むゆるい定義の値です。34%・29%と分母は同じ（コードを生成したセッション）で、違うのは成功の定義です。

上位10職種の数値（Figure 6）

上位10職種それぞれの数値は、Figure 6 の図の中に印字されています。次の表は、レポートPDF の15ページを画像として開き、各バーの上に印字された値を読み取ったものです。3つの文書の本文で確認した範囲では、職種ごとのこれらの数値は本文テキストには書かれていません。

出典：レポートPDF 15ページ Figure 6 の図中に印字された値（2026-08-15 取得）。行の並びは図の上から下の順です。図には Software & math の3つの値を通る縦の破線（凡例の表記は Software & math benchmarks）が引かれ、各バーの端にはエラーバーが付いています。

図の見出しは Success on coding tasks by likely occupation、その下のサブタイトルは Every occupation succeeds at nearly the rate of software engineers です。図の下のキャプションは次のとおりです。

Figure 6: Success rates in coding sessions by inferred occupation Share of sessions meeting strict definitions of success—judged success and verified success—among sessions that add or change at least one line of code, by the user's inferred occupational group, for the ten largest groups. Every group is within seven percentage points of software/math users (SOC Code Computer and Mathematical Occupations). Error bars are 95% confidence intervals computed on distinct accounts.

本文側は In code-producing sessions, every one of the ten largest occupations in our dataset lands within seven points of software engineers in terms of their success. と書いています。

図の at least partial success は Software & math が94%で、リサーチページ本文の89%・88%とは値が異なります。図は上位10職種を1つずつ示し、89%・88%はソフトウェア関連職とそれ以外をまとめた2区分の値ですが、この2つの数値の対応関係を説明する記述は、取得した3文書では確認できていません。

管理職の数値に、レポートは2つの読み方を並べている

Figure 6 の Management は、verified success が37%、judged success が55%、at least partial success が95%です。レポート本文は、この値に続けて次のように書いています。

Management occupations are highest on verified success, slightly above the software engineering occupations. Their higher verified success rates may reflect management skills that transfer to directing an agent. But they may also partly reflect our measurement: verification rests partially on explicit confirmation in the transcript, and managers may be more likely to communicate when they get what they ask for. （レポートPDF 14ページ 4.2節）

この段落でレポートは、読み方を2つ並べています。1つは Their higher verified success rates may reflect management skills that transfer to directing an agent.（管理技能がエージェントへの指示に移っているのかもしれない）、もう1つは they may also partly reflect our measurement（測定の仕方を一部反映しているのかもしれない）です。後者について、verified success の条件には「利用者の明示的な確認」が含まれており、求めたものが得られたときに管理職がそれを言葉にする頻度が高いかもしれない、と書かれています。レポートはどちらか一方を選んでいません。

脚注10は、分類器が管理職を取り違えていた場合について書いています。原文は次のとおりです。

Even if the model misclassifies managers, the signals relied upon to determine that the user is a likely manager—perhaps in how tasks are delegated and specified—tend to be associated with greater success. In other words, perhaps acting like a manager confers greater success. （レポートPDF 18ページ 脚注10）

管理職と判定する手がかり（作業の任せ方や指示の書き方）そのものが高い成果と結びついている、という趣旨で、後半は perhaps acting like a manager confers greater success（管理職のように振る舞うことが高い成果につながっているのかもしれない）と書かれています。

習熟度で数値はどれだけ変わるか

初心者と判定されたセッションの verified success は15%、中級以上は28〜33%です。つまずいたあとの回復と、放棄の割合にも差が記載されています。

**1行目の15%と3行目の15%は、分母が異なる別の指標です。**1行目は全セッションのうち novice と判定されたセッションの verified success、3行目はつまずいたセッションのうち expert と判定されたセッションの verified success です。前者は習熟度の下端、後者は上端の値で、同じ数字が別の集計に出ています。

これらは調整後の値です。Figure 5 のキャプションには Each point is an adjusted rate—we estimate the differences between expertise levels by comparing only sessions that share the same work mode, the same task-value band, the same month, the same task subject, and the same kind of user (software-related occupation or not). と記載されています。同じ作業モード・同じ推定価値帯・同じ月・同じ題材・同じ利用者区分のセッション同士を比べた結果です。

習熟度は職種でも一般的な能力でもなく、そのセッションで扱っている領域に対する習熟度として定義されています。付録の分類器プロンプトは Someone can be a senior software engineer but a beginner at Rust, SOC coding, or differential privacy — rate them on the task AT HAND, not their career. と指示しています。判定は5段階（1=Novice〜5=Expert）で、証拠が薄い場合の Unclear も選択肢にあります。

つまずいたセッションの比較について、レポートは脚注で次のように断っています。

Conditioning on trouble selects different sessions for different users. Experts hit trouble less often overall, so the troubled sessions they do have are likely to be on harder problems—using the price estimate of the session as a proxy for the complexity of the session, we see that the average estimated value of a troubled session roughly doubles from the bottom of the expertise scale to the top. Part of the gap in recovery rates may therefore reflect that novices get stuck on routine problems while experts get stuck on challenging hard problems.

習熟度の5段階それぞれのセッション数と割合は、付録の Table A2 に載っています。次の表は、付録PDF の27ページを画像として開いて読み取った値です。

出典：付録PDF 27ページ Table A2（2026-08-15 取得）。キャプションは Table A2: Verified success versus expertise, as a step function で始まり、OLS with the Column (5) fixed effects from Table A1. Standard errors in parentheses, clustered at the user level. Novice is the reference category, so its coefficient is not defined. The unadjusted rate is the raw share of sessions at each expertise level ending in verified success, with no controls. The adjusted rate holds the fixed effects constant. Excludes sessions with no clear goal. と続きます。unadjusted rate は統制なしの生の割合、adjusted rate は固定効果を一定にした値です。

本文が挙げる15%と28〜33%に対して、この表の adjusted rate は Novice が14.5%、Intermediate から Expert が28.3%〜32.9%です。Beginner（20.9%）は、本文の2つの区分のどちらにも入っていません。

1回の指示に対する Claude の動きの量も習熟度別に示されています。novice のセッションでは1プロンプトあたり約5アクション・約600語、expert では12アクション・3,200語と記載されています（Figure 3）。決定の分担については、利用者が計画上の決定の約70%、実行上の決定の約20%を担うという値が Figure 2 に示されています。

期間全体では、セッションの中身はどう分かれているか

レポート本文は、7か月を通した内訳として、作業モードの割合と、既存コードベースとの関係の2つを書いています。どちらも月ごとの推移ではなく、期間全体をまとめた値です。

作業モードの割合は、レポートPDF 4ページの本文に次のように書かれています。同じ段落はリサーチページ本文にもあり、読点と括弧の付き方だけが違います（後述の比較表を参照）。

About 56% of sessions consist of writing (25%) fixing (26%), or testing and orchestrating code 5%. Operating software comprises 17%, while 14% of sessions are planning or exploring, and 13% produce analysis or prose (Figure 1). （レポートPDF 4ページ本文）

図の名前は The nine modes of work（9つの作業モード）で、本文はそのうちいくつかをまとめて6つの数値にしています。テストとオーケストレーション、計画と探索、分析と文章が、それぞれ1つの数値に束ねられています。9つのモードは、付録の分類器プロンプトに Plan, Build, Fix, Understand, Test, Operate, Analyze, Orchestrate, or Communicate と列挙されており、1セッションにつき1つを選ばせる設計です。プロンプトには There is NO ‘Unclear’ option — pick the BEST fit from the nine, even when evidence is thin. とあり、判断材料が乏しい場合も9つのどれかが付きます。

既存コードベースとの関係は、同じ4ページの次の段落にあります。原文は Most sessions are anchored to an existing codebase: 48% primarily modify existing code and another 17% explore code, while 14% create new code from scratch. Roughly a fifth of sessions touch no codebase at all. で、既存コードの修正が48%、コードの探索が17%、新規作成が14%、コードベースに触れないセッションが約5分の1です。この段落は、取得したリサーチページ本文では確認できませんでした。

**この17%・14%は、上の作業モードの17%（operating software）・14%（planning or exploring）とは別の集計です。**上の表はセッションが何をしようとしていたかの区分、こちらはセッションがコードベースとどう関わったかの区分で、同じ数字が別の分類に出ています。

7か月で作業の中身と推定価値はどう変わったか

壊れたコードを直すセッションの割合が33%から19%に、ソフトウェアの運用が14%から21%に、文書作成とデータ分析が約10%から20%に変化したと記載されています。推定価値の上昇率は、同じ文書の中に25%と27%の2つの数字があり、それぞれ別の対象について書かれています。

3つとも本文に書かれた値です。原文は The clearest change is that the share of sessions spent fixing broken code fell from 33% to 19% (Figure 4).、Operating software grew from 14% to 21% of sessions.、Writing and data analysis roughly doubled, from about 10% to 20% of sessions. で、3つ目は文書作成とデータ分析を合わせた値です。

**この表は月ごとの両端の値で、前節の期間全体の内訳とは別の数字です。**同じ operating software という語について、前節の期間全体では17%、この表では2025年10月が14%、2026年4月が21%と書かれています。fixing も、期間全体では26%、この表では33%から19%です。

推定価値については、レポート本文と要点欄（Key findings）が、それぞれ別の対象について上昇率を書いています。

**25%と27%は、リサーチページとレポートPDFの両方に、同じ形で併存しています。**確認できていないのは、要点欄の typical task（典型的なタスク）がどう定義された単位なのかと、この2つの値がなぜ違うのかです。3文書を確認した範囲では、両者の関係を説明する記述は見当たりません。

作業別の上昇率は、本文が about 43%, 34%, and 32%（building・operating・fixing）の3つを挙げています。Figure 4 の右パネルには、この3つと全体に加えて、もう1本の線が引かれています。

出典：レポートPDF 11ページ Figure 4 右パネルの、各線の端に印字された値（2026-08-15 取得）。縦軸の見出しは Change in estimated task value since October (%) です。communicate の値は、3つの文書の本文で確認した範囲では本文テキストに書かれておらず、図の中にだけ印字されています。要点欄の表現は rose in almost every kind of work（ほぼすべての種類の作業で上昇した）で、almost が何を指すかを名指しした記述は、3文書を確認した範囲では見当たりません。

この推定値の読み方について、本文は These price estimates are coarse, so we use them primarily to compare tasks to one another over time, not as dollar values to be read literally. と書いています。金額として文字どおり読むものではない、というのはレポート自身の記述です。

レポート自身はどんな限界を挙げているか

実世界の成果を測っていないこと、非対話型の利用が対象外であること、すべての分類がモデルの読み取りに依存すること、分類器の検証が難しいこと、価値推定が粗いことが、レポートと付録に明記されています。

分類器ごとの一致率（付録PDF 24ページの表）

上の78〜98%・78〜99%・53〜68%という範囲は、付録の節 Classifier validation via strong-model agreement（見出しは22ページ末）の、23ページ本文に書かれた値です。その範囲のもとになる分類器ごとの値は、24ページの表に載っています。次の表は、付録PDF の24ページを画像として開いて読み取ったものです。

出典：付録PDF 24ページの表に印字された値（2026-08-15 取得）。**この表は図として置かれており、値はテキスト抽出では出てきません。**ページを画像として開いて読み取っています。レポートPDF 15ページ Figure 6 や11ページ Figure 4 右パネルと同じ扱いです。付録PDF 24ページを画像として開いて確認した範囲では、この表に番号もキャプションも付いていません。行の並びは表の上から下の順です。

列の語は、Type が Categorical（カテゴリ型）と Ordinal（順序尺度）、Exact agreement が完全一致、Within 1-point agreement が隣接する尺度点までを一致と数えた場合、Concerning disagreements が判定者（blind judge）が concerning と分類した不一致の件数（括弧内は198セッションに対する割合）です。カテゴリ型には隣接する尺度点がないため、Within 1-point agreement 欄は「—」です。

verified success の2条件のうち、成功シグナルは付録の定義節で the success-signal classifier と書かれ、分類器プロンプトを並べた節の見出しも Success signal です。表の Success signal 行がこれにあたり、完全一致は53%、隣接値まで含めた一致は78%です。この分類器の出力は a 1-5 ordinal scale, or NONE if there is no success-shaped signal at all と指示された1〜5の順序尺度で、シグナルが観測できない場合の NONE が別に置かれています。

verified success はこの分類器が4以上を返すことを条件に含みます。したがって、この記事が引いている verified success の数値——職種別の34%と29%、Figure 6 の Management の37%、習熟度別の15%と28〜33%——は、いずれも結果の分類器の判定と、この成功シグナルの分類器の出力の2つの上に立っています。

Concerning disagreements について、付録23ページの本文は、判定者が不一致ごとに whether the disagreement was due to genuine ambiguity (it could go either way) or represented a clear failure on the part of the report’s classifier（本質的な曖昧さによるものか、レポート側の分類器の明確な誤りにあたるか）を注記したと書き、続けて concerning disagreements are 0-3% of sessions per classifier (at most 5 of 198) としています。どの注記が concerning にあたるかを定めた記述は、付録PDFを確認した範囲では見当たりません。

内部検証として、Anthropic社内の Claude Code セッション（本編のサンプルからは除外されている）で、コミットが main ブランチに入ったかどうかと突き合わせた結果も記載されています。原文は judged success rises by roughly 3–5 percentage points per expertise level with author fixed effects, and sessions at higher rated expertise are more likely to produce code that lands. です。

リサーチページとPDFで記述は一致しているか

一致していない箇所があります。ゆるい定義の89%・88%はリサーチページに記載があり、レポートPDF 4.2節の本文には記載がありません。つまずいた判定のしきい値も、文書によって表記が分かれています。

しきい値については、レポートPDFと付録PDFがどちらも「3以上」を指す表記で、リサーチページのキャプションだけが「3より大きい」と読める表記になっています。レポートPDF 13ページの Figure 5 キャプションは、テキスト抽出でも、そのページを画像として開いた場合も failure signals ≥ 3 です。どちらが正しいかは、この記事では判定していません。

ゆるい定義（at least partial success）での職種別の数値は、リサーチページには記載があり、レポートPDF 4.2節を画像として開いて確認した範囲では記載がありません。3つの文書はいずれも最終確認日（2026-08-15）に取得し、テキストの抽出と、図・表のあるページを画像として開く方法の両方で照合しています。

付録PDFの中で本文と表が合っていない箇所

上の表は3つの文書のあいだの違いを並べたものですが、これとは別に、付録PDFの内部で本文段落と表の内容が合っていない箇所があります。

付録25ページの見出し Verified success by expertise level (step function) の下の本文段落は、Table A2 について次のように書いています。

Table A1 assumes that expertise is a linear scale, i.e., that each step of the expertise scale is worth the same. Table A2 instead uses an indicator for each level of the expertise scale, under the Table A1 column-(5) fixed effects, with Novice as the omitted category. It is the construction behind Figure 6.

一方、付録27ページの Table A2 本体のキャプションは Table A2: Verified success versus expertise, as a step function で始まり、表の中身は習熟度の5段階です。習熟度と結末を扱う図はレポートPDFの Figure 5、職種別を扱う図が Figure 6 で、これはそれぞれのキャプションに書かれています。the construction behind Figure 6 という句は Table A2 のキャプションにはなく、表の直前の本文段落の末尾にあります。

何を確認できて、何を確認できなかったか

3つの文書の本文と、この記事で数値を引いた図・表は取得できました。取得できなかったものと、レポート側が数値を書いていないものは、性質が違うので分けて示します。

取得したもの。

• リサーチページ（HTML）の全文
• レポートPDF 18ページの本文・図表キャプション・脚注
• 付録PDF 27ページの本文・分類器プロンプト全文・定義節
• レポートPDF 15ページ Figure 6 の図中に印字された10職種×3指標の値
• レポートPDF 13ページ Figure 5 の3つのパネルに印字された値
• レポートPDF 11ページ Figure 4 右パネルの、各線の端に印字された5つの値
• 付録PDF 25ページ Table A1 と27ページ Table A2 の表本体（係数・標準誤差・セッション数・割合）
• 付録PDF 24ページの、分類器ごとの一致率の表（7行。図として置かれており、テキスト抽出では出てこない）

図の中の数値をこの記事に引いた図と、引いていない図。

• 引いた図：Figure 4 の右パネル（11ページ）、Figure 5（13ページ）、Figure 6（15ページ）
• 引いていない図：Figure 1、Figure 2、Figure 3、および Figure 4 の左パネル。これらの図に対応する数値は、レポート本文に記載のある値だけを引用しています

レポート側に数値の記載を確認できなかったもの（3文書を確認した範囲。この記事の取得不足ではありません）。

• 職種の構成比。レポートは Computer and Mathematical を最大の群とし、次に Business and Financial Operations、Arts, Design and Media、Management、Life, Physical, and Social Sciences が続くと順序だけを書いており、各区分の割合やセッション数の記載は確認できていません
• 「ソフトウェア関連職」と「それ以外」それぞれのセッション数
• 習熟度分類で Unclear と判定されたセッションの割合。分類器には選択肢がありますが、割合の記載は確認できていません
• 要点欄の typical task（典型的なタスク）の定義と、25%（典型的なタスク）と27%（平均的なセッション）が違う値になる理由
• Table A1 の列(1)〜(3)の359,586と、キャプションの375,687の差
• Figure 6 の at least partial success（Software & math で94%）と、リサーチページ本文の89%・88%の対応関係
• 分類器ごとの一致率について、食い違いが尺度（1〜5とNONE）のどこで起きたかの内訳。付録24ページの表は一致率と Concerning disagreements の件数までを載せています

数値以外で、記載を確認できなかったもの。

• 検証に使われた公開データセット SWE-chat の収録期間と、198セッションの選び方。付録は a public dataset of real coding-agent sessions recorded from public GitHub repositories across several harnesses（複数のハーネスで記録された、公開GitHubリポジトリ由来の実際のコーディングエージェントのセッションを集めた公開データセット）と説明していますが、収録期間と選び方についての記述は、付録PDFを確認した範囲では見当たりません。入手先は文書に示されています。付録PDF 23ページ本文の SWE-chat の文字列にリンク注釈が付いており、リンク先は https://huggingface.co/datasets/SALT-NLP/SWE-chat です（レポートPDFの8ページと12ページの同じ語にも同一のリンクが付いています）。**このURLはテキスト抽出には現れません。**リンク注釈を取り出して読み取った値です。リンク先の内容は、この記事では取得していません
• 参照モデル Mythos Preview の詳細。付録は a strong reference model (Mythos Preview) と書いていますが、開発元や構成についての記述は、3文書を確認した範囲では見当たりません

この数字から何を言えて、何を言えないか

言えるのは、レポートが定義した成功の指標で、職種区分ごとの割合がいくつだったかまでです。職種によって実務の成果が変わるかどうかは、この調査からは出てきません。

言えること

言えないこと

この記事は何を出典にしているか

1. Anthropic｜Agentic coding and persistent returns to expertise（リサーチページ・2026年6月16日）
2. Anthropic｜Agentic coding and persistent returns to expertise（レポートPDF・全18ページ）
3. Anthropic｜Appendix to “Agentic Coding and Persistent Returns to Expertise”（付録PDF・全27ページ）