ARC-AGI-3 人間並みの条件 公式9件照合
ARC Prize の結果ページには、ARC-AGI-3 の Semi-Private のデータで、Standard harness・推論レベル max の 62.7%（$26,098）と、Provider Adapter harness・推論レベル high の 99.9%（$18,817）が別々に載っています。「96%」は正答率ではなく、中央値の人間より少ない行動数（actions）で済んだレベルの割合で、ARC Prize はこれを「ARC-AGI-3 の行動効率の尺度では」human parity（人間と同等）に達したと書いていますが、その尺度の外で人間と同等かどうかや、OpenAI の発表文の 99.9% が ARC Prize の表のどの実行にあたるかは、今回読んだ9ページからは確定できませんでした。
この記事は、「GPT-6 Astra が ARC-AGI-3 で人間並み」と要約されている数字について、それぞれ誰が載せ、どのハーネス（harness）と推論レベルで、どのデータを使い、費用がいくらと書かれているかを原文で並べます。どちらの数字が正しいかは決めません。
ARC-AGI-3 は、ARC Prize Foundation が作ったベンチマークで、AIのエージェントが、説明の無い抽象的なターン制の環境を探索し、目的を推測し、行動を計画できるかを試します。論文は、各環境が人間の参加者による試験で難しさを調整されていると書いています。GPT-6 Astra は OpenAI のモデルで、発表文は、ChatGPT の Plus・Pro・Business・Enterprise の利用者と OpenAI API などで提供されると書いています。
OpenAI の2ページは 2026-09-14 の直接取得が HTTP 403 で取得できなかったため、Internet Archive の保存版（2026-09-03〜09-11 保存）に依拠しています（詳細は「OpenAI のページは、どの保存版を読んだか」の節）。
- 最終確認
- 2026-09-14
- 確認方法
- ARC Prize と OpenAI の公開ページ9件を取得し、原文で読みました。ARC-AGI-3 を自分で解いてはおらず、モデルも動かしていません
- 対象
- GPT-6 Astra の ARC-AGI-3 の結果として公表された数字と、その測定条件の記載
- 2つのスコアを同じ条件で比べられるか
- 確定できません。ハーネスと推論レベルの2つが違う数字として書かれています
- 「96%」が指すもの
- 中央値の人間より少ない行動数で済んだレベルの割合（ARC Prize のブログ）。同じブログは、ARC-AGI-3 の行動効率の尺度では human parity に達したと書いています
- 直接取得できたページ
- 7件
- 直接取得できず、保存版で読んだページ
- 2件（`openai.com` の2ページ。2026-09-14 の直接取得は HTTP 403）
- 保存版を含めても読めなかったページ
- 0件
- 更新周期
- 1か月ごと
この記事は何を、どこまで確かめたか
確かめたのは、ARC Prize の公開ページ6件と OpenAI の公開ページ3件、合わせて9件の記載です。2026-09-14（日本時間）に取得した内容に依拠しています。報道や SNS の投稿は根拠にしていません。
| # | 読んだページ | 公表主体 | 取得の経路 | 何を確かめるために読んだか |
|---|---|---|---|---|
| 1 | arcprize.org/blog/astra（Published 03 Sep 2026） | ARC Prize | 直接（HTTP 200） | スコア・費用・96% の原文 |
| 2 | arcprize.org/results/openai-gpt-6-astra | ARC Prize | 直接（HTTP 200） | 推論レベル別の表 |
| 3 | arcprize.org/policy（ARC Prize Verified Testing Policy） | ARC Prize | 直接（HTTP 200） | 実行方法、費用の算出方法、道具の扱い |
| 4 | arcprize.org/blog/arc-agi-3-human-dataset（Published 14 Apr 2026） | ARC Prize | 直接（HTTP 200） | 人間ベースラインの集め方 |
| 5 | arcprize.org/arc-agi/3 | ARC Prize | 直接（HTTP 200） | 100% の意味、AGI についての記載 |
| 6 | arxiv.org/pdf/2603.24621（v2、April 20, 2026） | ARC Prize Foundation | 直接（HTTP 200） | スコアの定義、人間の試験の設計 |
| 7 | github.com/arcprize/arc-agi-3-benchmarking | ARC Prize | 直接（HTTP 200） | 2つのハーネスの説明 |
| 8 | openai.com/index/gpt-6-astra/ | OpenAI | 直接は HTTP 403。保存版3つ（HTTP 200） | 発表文の数字と注記 |
| 9 | openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/（July 29, 2026） | OpenAI | 直接は HTTP 403。保存版 2026-09-04 18:22:15 UTC（HTTP 200） | 8 の脚注がリンクしているハーネスの説明 |
加えて、GPT-6 Astra のシステムカード（deploymentsafety.openai.com/gpt-6-astra、HTTP 200）を「AGI」の語を数えるためだけに読みました。ARC-AGI-3 の記載は見つけられなかったため、9件には数えていません。
「ARC-AGI-3 のスコア」は、何を100%とする数字か
正答率ではありません。ARC Prize Foundation の論文は、スコアを RHAE（Relative Human Action Efficiency）と呼び、各レベルでAIが使った行動数を人間ベースラインの行動数と比べて算出すると書いています。100% について、ARC Prize の人間データのブログは、すべての環境のすべてのレベルを、中央値の人間ベースライン以上の行動効率でクリアしたことを意味すると書いています。
arxiv.org/pdf/2603.24621（v2）、4.1 Scoring methodology
This scoring function is called RHAE (Relative Human Action Efficiency), pronounced “Ray”.
訳：このスコアの関数は RHAE（Relative Human Action Efficiency、人間に対する相対的な行動効率）と呼ばれ、「レイ」と発音します。
同じ節は、レベルごとのスコアを（人間ベースラインの行動数 ÷ AIの行動数）の2乗、上限 1.15 とし、環境ごとに重み付きで平均し、全環境で平均すると書いています。Note that level scoring is calculated using the square of efficiency.（訳：レベルのスコアは効率の2乗で計算されることに注意してください）、This will be a score between 0% and 100%.（訳：これは0%から100%のあいだのスコアになります）とあります。
arcprize.org/blog/arc-agi-3-human-dataset
When AI scores 100% on ARC-AGI-3 it means AI beat every level of every environment at or above the median human-baseline action efficiency.
訳：AIが ARC-AGI-3 で100%を取るということは、AIがすべての環境のすべてのレベルを、中央値の人間ベースラインの行動効率と同じかそれ以上でクリアしたことを意味します。
人間ベースラインの定義は、ページによって書き方が違います。
| ページ | 人間ベースラインの定義（原文） |
|---|---|
arxiv.org/pdf/2603.24621（v2） | which we define as the upper-median best human action count |
arcprize.org/blog/arc-agi-3-human-dataset（14 Apr 2026） | Technical change: the human baseline which normalizes scores moves from 2nd-best player to median player per level. |
arcprize.org/blog/astra（03 Sep 2026） | For each level, we defined the “human baseline” using the median action count among players who completed it. |
GPT-6 Astra の 62.7% と 99.9% が、この3つのどの定義で計算されたかを明示した記載は、1・2 のページには見つけられませんでした。
OpenAI 側の 9 のページも、Scores measure Relative Human Action Efficiency (RHAE)—a metric comparing model performance to a human baseline.（訳：スコアは RHAE、つまりモデルの性能を人間ベースラインと比べる指標を測っています）と書いています。
2つのスコアは、それぞれどの条件で測られたと書かれているか
ARC Prize のブログと結果ページは、62.7% を Standard harness・推論レベル max、99.9% を Provider Adapter harness・推論レベル high の値として、どちらも Semi-Private のデータの結果と書いています。ハーネスと推論レベルの2つが違うことは読み取れますが、誰が実行したかを明示した記載は見つけられませんでした。ARC Prize の Testing Policy は評価を1回の実行で行うと一般規定として書いていますが、Astra のこの結果にその規定が適用されたと述べた文は、ブログと結果ページには見つけられませんでした。
表は、ページの番号順、同じページのなかでは記載の順に並べています。並び順に優劣の意味はありません。
| 数字（原文） | 載っているページ | ハーネス | 推論レベル | データセット | 費用（原文） |
|---|---|---|---|---|---|
62.7% | 1（Summary の節） | our Standard harness | 同じ文に記載なし | ARC-AGI-3 Semi-Private | $26K（単位の説明は同じ文に無い） |
99.9% | 1（Summary の節） | a Provider Adapter harness | 同じ文に記載なし | 同じ文の前半に ARC-AGI-3 Semi-Private | $19K（同上） |
62.7%, $26,098 | 1（表） | Standard harness の列 | max の行 | 表の前の文に ARC-AGI-3 Semi-Private | $26,098 |
99.9%, $18,817 | 1（表） | Provider Adapter harness の列 | high の行 | 後の節に Astra's best observed score on ARC-AGI-3 Semi-Private increased from 62.7% to 99.9% | $18,817 |
62.71% | 2（Verified scores の表） | ARC-AGI-3 (Standard harness) の列 | Max の行 | 表内に記載なし。表の上の文は ARC-AGI-3 Semi-Private | 表内に記載なし。表の上の文は $26,098 |
99.95% | 2（Verified scores の表） | ARC-AGI-3 (Provider Adapter harness) の列 | High の行 | 同上 | 表内に記載なし。表の上の文は $18,817 |
99.9% | 8（本文と表） | our responses API harness（脚注） | Evaluation scores are the maximum at any effort.（表の注） | 記載を見つけられなかった | 記載を見つけられなかった |
表に「測った主体」の列は置いていません。7行とも、実行した主体を述べた記載を見つけられなかったためです（探した範囲は「記載を見つけられなかったのは、どの項目か」の節）。
2 のページの表の上には、次の文があります。
arcprize.org/results/openai-gpt-6-astra
GPT-6 Astra's best observed ARC-AGI-3 Semi-Private result with the Standard harness was 62.7% at max reasoning for $26,098. With the Provider Adapter harness, its best observed result was 99.9% at high reasoning for $18,817.
訳：Standard harness での GPT-6 Astra の ARC-AGI-3 Semi-Private の結果のうち、観測された最良のものは、推論レベル max で 62.7%、費用 $26,098 でした。Provider Adapter harness では、観測された最良の結果は推論レベル high で 99.9%、費用 $18,817 でした。
2つのハーネスについて、ARC Prize は次のように説明しています。
| ハーネス | 説明（原文） | 出典 |
|---|---|---|
| Standard harness | Standard harness enables a model to carry forward notes it chooses to keep with it throughout the environment. | 1・2 |
| Provider Adapter harness | The Provider Adapter harness preserves opaque reasoning state between requests and uses compaction for longer conversations, allowing the model to reuse prior work. | 1・2 |
| 両方 | Both harnesses use the same games, actions, limits, and scoring. | 7 |
訳（上から）：Standard harness は、モデルが自分で残すと決めたメモを、環境の最後まで持ち越せるようにします／Provider Adapter harness は、リクエストのあいだで外からは見えない推論の状態を保ち、長い会話では圧縮（compaction）を使うことで、モデルが前の作業を再利用できるようにします／2つのハーネスは、同じゲーム、行動、制限、採点を使います。
費用について、1 のブログは表の前に At max reasoning effort, Astra solves games more efficiently, requiring fewer actions and therefore lowering total cost relative to the other reasoning-effort levels.（訳：推論レベル max では Astra はより効率よくゲームを解き、必要な行動が少ないため、ほかの推論レベルに比べて総費用が下がります）と書いています。費用の算出方法について、3 の Testing Policy は We will use retail pricing to assess cost efficiency.（訳：費用効率の評価には小売価格を使います）と書いています。
判定を書きます。62.7% と 99.9% は、ハーネス（Standard／Provider Adapter）と推論レベル（max／high）の2つが違う条件の数字として書かれています。それ以外の実行の条件は、上の答えの段落に書いたとおり、ブログと結果ページからはそろっているかを確かめられません。このため、2つが実行の条件をそろえた比較かどうかは確定できません。差がどの条件から生じたかも、この記事は書きません。
人間ベースラインとは、誰と何を比べた数字か
ARC Prize のブログは、「96%」を、Provider Adapter harness・推論レベル max の Astra が、人間ベースラインより少ない行動数で済んだレベルの割合と書いています。比べているのはレベルごとの行動数で、人間ベースラインはそのレベルをクリアした人の行動数の中央値です。同じブログは、この結果を ARC-AGI-3 の行動効率の尺度では human parity（人間と同等）に達したと書いています。
arcprize.org/blog/astra、Summary の節
GPT-6 Astra surpasses the human baseline in action efficiency on ARC-AGI-3. It used fewer actions than the median tested human on 96% of levels.
訳：GPT-6 Astra は、ARC-AGI-3 の行動効率で人間ベースラインを上回ります。レベルの96%で、試験を受けた人間の中央値より少ない行動数で済みました。
同じページ、Action Efficiency Compared to Humans の節
In the Provider Adapter harness, Astra (max) used fewer actions than the human baseline on 96.0% of levels and used 51.7% fewer actions per level on average. This is a material milestone. This means by ARC-AGI-3’s measure of action efficiency, Astra matched and surpassed human parity.
訳：Provider Adapter harness で、Astra（max）はレベルの96.0%で人間ベースラインより少ない行動数で済み、1レベルあたりの行動数は平均で51.7%少なくなりました。これは重要な節目です。つまり ARC-AGI-3 の行動効率の尺度では、Astra は人間と同等（human parity）に達し、それを上回りました。
ARC Prize 自身が「human parity」の語を使っているのは、by ARC-AGI-3’s measure of action efficiency（ARC-AGI-3 の行動効率の尺度では）という限定の付いた文です。
同じ節の図の注は Each dot represents one level that Astra (max) completed.（訳：点の1つひとつは、Astra（max）がクリアした1つのレベルを表します）です。96.0% の分母が、クリアしたレベルか、すべてのレベルかを明示した記載は見つけられませんでした。
| 項目 | 人間側（原文） | AI側（原文） | 出典 |
|---|---|---|---|
| 人数・対象 | approximately 500 members of the general public／a controlled study of 458 participants／486 unique participants across 414 candidate environments／Exactly 10 members of the public are tested on each environment. | Astra (max)（Provider Adapter harness） | 1／4／6／6 |
| 比べる単位 | the median action count among players who completed it | fewer actions than the human baseline on 96.0% of levels | 1 |
| 使えたもの | Our testing participants did not have a code interpreter, scratch pad, etc.／Humans are given the same input actions as buttons in the testing app and keyboard. | Provider Adapter harness の説明（前節の表）／We do not enable additional tools behind the model, including code execution.（By default, yes. への続き） | 1／3 |
| データセット | 読み取れなかった | 96.0% について読み取れなかった | ― |
| 時期と場所 | Before launching ARC-AGI-3／multiple times per week (Monday, Wednesday, and Friday) at a dedicated testing center in San Francisco | 実行日を述べた記載は見つけられなかった | 1／6 |
| 謝礼 | $115 per 90-minute session, plus $5 per game completed／a base payment of ~$130／a fixed participation fee of $115–$140 | ― | 1／4／6 |
人数は、ページによって数字が違います。1 は約500人、4（2026年4月14日）は458人、6（v2）は486人と書いています。3つの数字の関係を説明した記載は見つけられませんでした。
「コード実行やメモ帳が無かった」は、1 のブログにある記載です。ただし前後の文脈は、Astra を別の PRO-LONG harness（コードを実行できるサンドボックスがある構成）で評価した結果についての説明で、However, this represents different evaluation conditions from our controlled human testing.（訳：ただし、これは当財団が管理した人間の試験とは異なる評価条件です）に続く文です。
OpenAI の発表文にある「平均的な人間 48%」は、別の数字です。8 の保存版の HTML には、ARC-AGI-3 の図のキャプションとして The average human tester scored 48%.（訳：平均的な人間の試験参加者は48%でした）という文が含まれています（ページのテキストとして取り出した部分には現れず、図のデータの中にあります）。キャプションはこの文に続けて GPT-6 Astra was measured with our responses API harness, which better reflects real-world performance than the original benchmark harness, which discards past reasoning and past messages.（訳：GPT-6 Astra は当社の responses API harness で測定しました。これは、過去の推論と過去のメッセージを捨てる元のベンチマークのハーネスよりも、実際の利用での性能をよく反映します）と書いています。9 のページは同じ48%について Based on official gameplay logs, we estimate the average human tester scored 48%.（訳：公式のプレイ記録に基づき、平均的な人間の試験参加者は48%だったと当社は推定しています）と書いています。96% がレベルの割合であるのに対し、48% は RHAE のスコアとして書かれています。
OpenAI の発表文は、どの数字をどう注記しているか
3つの保存版とも、Astra の ARC-AGI-3 のスコアとして載っているのは 99.9% の1つで、表の注に「Evaluation scores are the maximum at any effort.」、脚注に「our responses API harness」で実行したと書かれています。「96% of levels」の文は 2026-09-07 と 2026-09-11 の版にあり、ARC Prize Foundation の Greg Kamradt の発言として載っています。
本文（3つの版で同じ）
Astra also saturates ARC-AGI-3 with a 99.9% score and ExploitBench with a 100% score.
訳：Astra はまた、ARC-AGI-3 を 99.9% のスコアで、ExploitBench を 100% のスコアで飽和（saturate）させています。
表の注（3つの版で同じ文面）
Evaluation scores are the maximum at any effort.
訳：評価のスコアは、どの推論レベル（effort）のうちでも最大の値です。
この注は、ARC-AGI-3・ARC-AGI-2・ARC-AGI-1 を並べた「Abstract reasoning」の表の直後に置かれています。脚注の記号で特定の数字に結び付けられてはいません。
脚注（3つの版で同じ）
On ARC-AGI-3, GPT-6 Astra was run with our responses API harness, which changes two settings to better match real-world performance. The changes do not specifically target ARC-AGI-3.
訳：ARC-AGI-3 では、GPT-6 Astra を当社の responses API harness で実行しました。これは実際の利用での性能により合わせるために2つの設定を変えるもので、その変更は ARC-AGI-3 を特に狙ったものではありません。
リンク先の 9 のページは、その2つの設定を retained reasoning and compaction（推論の保持と圧縮）と書いています。OpenAI の responses API harness と ARC Prize の Provider Adapter harness が同じものか、発表文の 99.9% が 2 の表の High の行と同じ実行かを述べた記載は、今回読んだページには見つけられませんでした。発表文に費用とデータセットの記載は見つけられませんでした。
2026-09-07 と 2026-09-11 の版にある引用
On ARC-AGI-3, Astra surpassed our human action-efficiency baseline on 96% of levels, effectively reaching human parity on the benchmark.
訳：ARC-AGI-3 で、Astra はレベルの96%で当財団の人間の行動効率ベースラインを上回り、このベンチマークで事実上、人間と同等（human parity）に達しました。
発言者は Greg Kamradt, ARC Prize Foundation と表示されています。2026-09-03 の版は、テキストにも HTML にも Kamradt の語が見つかりませんでした。版のあいだのこの違いがいつ、なぜ生じたかは、ページからは読み取れません。
同じ発表ページのうち、Fast mode の料率の記載を扱った記事が別にあります（AstraのFast mode料率 公式14件確認）。
「AGI」という語は、誰がどう使っているか
ARC Prize のブログは、ARC-AGI-3 の飽和は「AGI を達成した証明」にはあたらないと述べたうえで、Astra を AGI だとは主張していないと書いています。OpenAI の発表文の3つの版とシステムカードを数えた範囲では、ベンチマーク名「ARC-AGI」の中の出現を除き、単独の「AGI」と「artificial general intelligence」は0件でした。
arcprize.org/blog/astra、ARC-AGI Series の節
When we launched ARC-AGI-3, we made it clear that saturating the benchmark would not represent “proof of achieving AGI.” Therefore, while we believe Astra represents meaningful progress towards generalization, we are not claiming that it is AGI.
訳：ARC-AGI-3 を公開したとき、当財団は、このベンチマークを飽和させることが「AGI を達成した証明」にはあたらないと明言しました。したがって、Astra は汎化に向けた意味のある前進だと考えていますが、Astra が AGI であるとは主張していません。
この文は Astra の結果を受けた節にあります。同じ節には It does not represent the complexity and open-endedness of the real world.（訳：ARC-AGI-3 は、現実世界の複雑さと終わりの無さを表すものではありません）という文もあります。made it clear のリンク先は 6 の論文ですが、6 のテキストを proof で検索した範囲では、この言い回しは見つけられませんでした。
| 文書（版） | a. ARC-AGI の中 | b. 単独の AGI | c. artificial general intelligence | 数えた範囲 |
|---|---|---|---|---|
8 openai.com/index/gpt-6-astra/（保存版 20260903193913） | 7 | 0 | 0 | HTML から取り出したテキスト全体（ナビゲーション・フッターを含む） |
| 8 同（保存版 20260907161228） | 8 | 0 | 0 | 同上 |
| 8 同（保存版 20260911105331） | 8 | 0 | 0 | 同上 |
システムカード deploymentsafety.openai.com/gpt-6-astra（2026-09-14 取得） | 0 | 0 | 0 | 同上 |
大文字・小文字を区別する数え方と区別しない数え方で、件数は同じでした。b は、前後が英字・ハイフンでない AGI を数えています。参考として superintelligence と general intelligence も数え、4文書とも0件でした。図のデータの中にだけあるキャプション（前節の48%の文など）は数えていません。この0件は、この4文書のこの範囲の件数で、OpenAI が他の場所で何を述べているかは含みません。
見出しの数字の条件は、どこで確かめられるか
スコア・推論レベル・費用は ARC Prize の結果ページ、96% の定義は ARC Prize の Astra のブログ、スコアの計算方法は ARC Prize Foundation の論文、OpenAI 側の注記は発表文の表の直後と脚注にあります。
| 確かめたいこと | ページ | ページ内の場所 |
|---|---|---|
| 推論レベル別のスコア | arcprize.org/results/openai-gpt-6-astra | Verified scores の表 |
| 推論レベル別の費用 | arcprize.org/blog/astra | Astra Results の節の表 |
| 96% の意味 | arcprize.org/blog/astra | Action Efficiency Compared to Humans の節 |
| スコアの計算方法 | arxiv.org/pdf/2603.24621 | 4.1 Scoring methodology |
| 人間の試験の設計 | arxiv.org/pdf/2603.24621、arcprize.org/blog/arc-agi-3-human-dataset | 5.1〜5.3、Human Baselines on ARC-AGI-3 |
| 2つのハーネスの違い | arcprize.org/policy、github.com/arcprize/arc-agi-3-benchmarking | ARC-AGI-3 Harnesses、Standard and Provider Adapter harnesses |
| OpenAI の注記 | openai.com/index/gpt-6-astra/ の保存版 | Abstract reasoning の表の直後と FOOTNOTES |
同じ Astra について、安全チェックで作業が止まる記載を扱った記事が別にあります（OpenAI公式13ページ 安全チェックの停止記載）。
記載を見つけられなかったのは、どの項目か
見つけられなかったのは、2つのスコアを誰が実行したか、Testing Policy の単一実行と費用上限の規定が Astra のこの結果に適用されたと述べた文、96.0% の分母とデータセット、OpenAI の 99.9% と ARC Prize の表の対応、の4つです。いずれも、下の表の範囲で探しました。
| 項目 | 探したページ | 探した語 |
|---|---|---|
| 62.7%・99.9% を実行した主体 | 1・2・3 | we ran、run by、verified、OpenAI |
| Testing Policy の単一実行・費用上限の規定が Astra のこの結果に適用されたと述べた文 | 1・2 | per run、single run、total、cost、$ |
| 96.0% の分母とデータセット | 1 | 96、levels、Semi-Private、Public |
| 8 の 99.9% と 2 の表の対応、responses API harness と Provider Adapter harness の関係 | 1・2・3・7・8・9 | responses API、Provider Adapter、adapter |
実行主体について見つかった記載は、次の2つです。3 の Testing Policy は ARC-AGI-3 evaluations are run using the open source ARC-AGI-3 Benchmarking repository.（訳：ARC-AGI-3 の評価は、オープンソースの ARC-AGI-3 Benchmarking リポジトリを使って実行されます）と書き、2 の結果ページは2つのハーネスの列を Verified scores という見出しの表に置いています。どちらも、GPT-6 Astra のこの実行を誰が行ったかを述べた文ではありません。
実行の回数と費用について見つかった記載も書きます。3 の Testing Policy の Verified Leaderboard の項には、次の一般規定があります。
We cap our evaluations at $10,000 USD per run. No single semi-private evaluation run can exceed this amount. A single run is used, we do not average scores across runs.
訳：評価の費用は1回の実行あたり10,000米ドルを上限とします。Semi-Private の評価の実行が1回でこの額を超えることはできません。使うのは1回の実行で、複数回の実行のスコアを平均することはしません。
これは評価一般についての規定です。1 のブログと 2 の結果ページには、GPT-6 Astra のこの結果にこの規定が適用されたと述べた文も、$26,098 と $18,817 がこの規定とどう関係するかを述べた文も見つけられませんでした。
この記載から何が言えて、何が言えないか
言えるのは、ARC Prize が 62.7% と 99.9% を、ハーネスと推論レベルの違う条件の数字として別々に載せていること、そして「96%」が正答率ではなくレベルごとの行動数の比較として書かれていることまでです。ARC Prize のブログは、ARC-AGI-3 の行動効率の尺度では human parity に達したと書いています。2つのスコアのどちらが Astra の性能を表すか、その尺度の外で Astra が人間と同等かは、今回の記載からは言えません。
言えることは、次の4つです。
- 「ARC-AGI-3 のスコア」として公表された数字は、条件の違う複数の値がある。2 の表には推論レベル6つ×ハーネス2つの12の値があり、62.7% は Standard harness の max、99.9%（表では 99.95%）は Provider Adapter harness の high です
- OpenAI の発表文の 99.9% は、「どの推論レベルのうちでも最大の値」と「responses API harness で実行した」という2つの注記の付いた数字として載っている
- 「96%」は、レベルを数えた割合である。比べているのは行動数で、正答率や、人間の何%を上回ったかを示す数字ではありません。1 は、この比較を Provider Adapter harness の Astra（max）についての値と書いています
- 62.7%・99.9% のスコア（RHAE）と、96% の比較は、どちらも人間の行動数を基準にしているが、別の計算である。6 の論文の定義では、前者はレベルごとの効率を2乗して上限を付け、環境ごとに平均した値です。後者は 1 のブログで、人間ベースラインより少ない行動数で済んだレベルの割合です
言えないことは、次の5つです。
- 62.7% と 99.9% のどちらが「本当の」スコアか。3 の Testing Policy は2つのハーネスについて
These harnesses answer different evaluation questions.（訳：これらのハーネスは、異なる評価の問いに答えるものです）と書いており、どちらを採るかはページの外の判断です - 2つのスコアの差が、ハーネスの違いから生じたか。推論レベルも違い、測った主体も読み取れないため、条件を1つに絞れません
- ARC-AGI-3 の行動効率の尺度の外で、人間と同等かどうか。1 のブログが human parity と書いているのは
by ARC-AGI-3’s measure of action efficiencyという限定の付いた文です。96% は行動数の比較で、比べた人間の人数は 1・4・6 で約500人・458人・486人と書かれています。この尺度の外での人間との比較は、今回読んだ記載からは言えません - ARC-AGI-3 のスコアが、業務での能力を表すか。1 のブログ自身が、ARC-AGI-3 は現実世界の複雑さを表すものではないと書いています
- OpenAI が AGI を主張していないか。0件は、数えた4文書のテキストの範囲の件数です
この記事はどう更新するか
ARC Prize の結果ページと OpenAI の発表文は変わりえます。この記事は1か月ごとに同じ手順で取り直し、推論レベル別の数字と費用、OpenAI の注記と脚注、人間ベースラインの人数と定義、「AGI」の語の件数、そして今回「見つけられなかった」とした4項目が書かれるようになっていないかを照合して、変わった点を書き換えます。最終確認日は冒頭に記載しています。
記載に誤りがある場合、また確認してほしい項目がある場合はお問い合わせからご連絡ください。
OpenAI のページは、どの保存版を読んだか
OpenAI の2ページは、2026-09-14 の直接取得がいずれも HTTP 403 で、今回の検証では直接取得できませんでした。Internet Archive の保存記録の一覧（CDX API）から HTTP 200 の版を探し、次の保存版に依拠しています。保存後にページの文面が変わっていないかは確認できていません。
| ページ | 読んだ保存版（保存日時、UTC） |
|---|---|
8 openai.com/index/gpt-6-astra/ | 2026-09-03 19:39:13、2026-09-07 16:12:28、2026-09-11 10:53:31 の3つ |
9 openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/ | 2026-09-04 18:22:15 |
この記事は何を出典にしているか
- ARC Prize｜OpenAI's GPT-6 Astra on ARC-AGI-3（Published 03 Sep 2026）（2026-09-14 取得、HTTP 200）
- ARC Prize｜GPT-6 Astra の結果ページ（2026-09-14 取得、HTTP 200）
- ARC Prize｜ARC Prize Verified Testing Policy（2026-09-14 取得、HTTP 200）
- ARC Prize｜Measuring Human Performance on ARC-AGI-3（Published 14 Apr 2026）（2026-09-14 取得、HTTP 200）
- ARC Prize｜ARC-AGI-3（2026-09-14 取得、HTTP 200）
- ARC Prize Foundation｜ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence（arXiv:2603.24621v2）（2026-09-14 取得、HTTP 200）
- GitHub｜arcprize/arc-agi-3-benchmarking（2026-09-14 取得、HTTP 200）
- OpenAI｜GPT-6 Astra: A new generation of intelligence（直接取得は HTTP 403。依拠しているのは Internet Archive の保存版3つ：2026-09-03 19:39:13 UTC、2026-09-07 16:12:28 UTC、2026-09-11 10:53:31 UTC。いずれも HTTP 200）
- OpenAI｜How enabling two settings tripled our scores on the ARC-AGI-3 benchmark（July 29, 2026）（直接取得は HTTP 403。依拠しているのは Internet Archive の保存版（保存日時 2026-09-04 18:22:15 UTC、HTTP 200））
- OpenAI｜GPT-6 Astra System Card（Published September 3, 2026）（2026-09-14 取得、HTTP 200。「AGI」の語の件数を数えるためにのみ使用）
- Internet Archive CDX API｜
openai.com/index/gpt-6-astra/の保存記録の一覧（2026年以降、先頭40件）（2026-09-14 取得。保存日時 20260903193913 と 20260907161228 の版の特定に使用） - Internet Archive CDX API｜
openai.com/index/gpt-6-astra/の保存記録の一覧（2026-09-08〜09-12）（2026-09-14 取得。保存日時 20260911105331 の版が HTTP 200 で記録されていることの確認に使用） - Internet Archive CDX API｜
openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/の保存記録の一覧（2026-09-14 取得。HTTP 200 の版の特定に使用） - arcprize.org/robots.txt（2026-09-14 取得、HTTP 200）
- openai.com/robots.txt（2026-09-14 取得、HTTP 200）
- deploymentsafety.openai.com/robots.txt（2026-09-14 取得、HTTP 200）
- arxiv.org/robots.txt（2026-09-14 取得、HTTP 200）
- github.com/robots.txt（2026-09-14 取得、HTTP 200）