モデルを変えずにスコアが3倍になった
きっかけは違和感でした。そこを掘った結果の報告です。
同じモデルなのに、このベンチマークだけ極端に低かった
GPT-5.6 Sol は、サイクル二重被覆予想のような数学の長年の未解決問題を解き、ポケモンのファイアレッドもクリアしています。ところが2Dパズルゲームのベンチマークである ARC-AGI-3 では 7.8% にとどまり、GPT-5.5 に至っては 0.4% とほとんどゲームを遊べていませんでした。
2Dパズルがモデルにとって異常に難しいのか、それとも別の何かが起きているのか。ここが出発点になります。
OpenAI が置いた前提は明快です。ベンチマークがモデル単体を測ることはめったにない。API設定・ハーネスの設計・プロンプトといった、目に見えにくい選択も同時に測っている、という見方です。
13.3%が38.3%になった
調べた結果、ChatGPT と Codex で実際に使っている2つのAPI設定——推論の保持（retained reasoning）とコンパクション（compaction）——を有効にすると、公開課題セットでスコアが3倍になり、出力トークンは6分の1に減りました。
数値としては、標準のハーネスで 13.3%、2つの設定を入れて 38.3% です。
ここで数字の扱いに注意が要ります。冒頭の 7.8% が、どの課題セットのどういう設定で測られた数値かは公表されていません。公式が並べて比較しているのは、同じ公開課題セットでの 13.3% と 38.3% の対だけです。「7.8%が38.3%になった」とは読めません。
2つのハーネスの違い（OpenAIの公表による）
| 観点 | 標準（公式）のハーネス | Responses API で組み直したハーネス |
|---|---|---|
| 推論の扱い | 行動するたびに破棄 | ツール呼び出し・ターンをまたいで保持 |
| 履歴の扱い | 175,000文字を超えたら古い順に切り捨て | 要約して畳む（コンパクション） |
| スコア（公開課題セット） | 13.3% | 38.3% |
| 出力トークン | — | 6分の1 |
| 1手あたりの思考時間 | 長い | 短い |
GPT-5.6 Sol has solved longstanding open problems in mathematics like the cycle double cover conjecture and beaten games like Pokémon FireRed. But on ARC-AGI-3, a benchmark of 2D puzzle games, GPT-5.6 Sol scored just 7.8%, and GPT-5.5 could barely play the games at all, scoring a paltry 0.4%. ／ Benchmarks rarely measure AI models in isolation. They also measure less visible choices about API settings, harness design, and prompting. In the case of ARC-AGI-3, we discovered that turning on two API settings we use in ChatGPT and Codex—retained reasoning and compaction—tripled scores and cut output tokens by 6x on the public task set. ／ With the official harness, GPT-5.6 Sol scored 13.3% on the ARC-AGI-3 public set. With retained reasoning and compaction, it scored 38.3%. — 当初のスコア、2つの設定の効果、公開課題セットでの比較に関する記述より
スコアが何を表しているか
このスコアは正答率ではありません。RHAE（Relative Human Action Efficiency）という、人間の基準と比べてどれだけ効率よく行動できたかを示す指標です。
公式のプレイ記録をもとに、人間のテスターの平均は48%と推定されています。つまり 38.3% は、人間の平均とされる48%にはまだ届いていない水準です。
条件も厳しく設定されています。モデルはどう採点されるかを知らされず、途中で自分のスコアを見ることもできません。行動が返すのは各フレームのテキスト表現と、いま何レベルにいるかだけです。
なお、あるゲームの公式順位表では、どの最先端モデルも最初のレベルより先へ進めていません。OpenAI のハーネスでは、GPT-5.6 Sol が6レベルすべてを解いたと書かれています。
Scores measure Relative Human Action Efficiency (RHAE)—a metric comparing model performance to a human baseline. Based on official gameplay logs, we estimate the average human tester scored 48%. Models are not told how they will be scored, and cannot see their score throughout—actions only return a text representation of each frame and what level they are on. ／ On the leaderboard for this game, no frontier model solves any level beyond the first. With our harness, GPT-5.6 Sol solves all six. — RHAEという採点指標、人間の基準値、モデルに与えられる情報の範囲に関する記述、および冒頭動画キャプションの順位表に関する記述より
何がモデルの足を引っ張っていたのか
原因は2つあり、どちらも「モデルに何を覚えさせておくか」の設計でした。
行動するたびに、考えたことが捨てられていた
ひとつめは推論の破棄です。ゲームで1手動かすたびに、モデルの内部の思考がすべて消えていました。
その結果どうなるか。モデルは毎回、ゲームを一から理解し直すよう求められていたのです。過去の手の記録と短い注記は見えるものの、そこへ至った計画・気づき・思考そのものは見えません。手だけが残り、なぜその手を打ったのかが消える状態です。
履歴も古い順に消えていた
ふたつめが履歴の切り捨てです。ハーネスは古いものから順に押し出していく方式を使っており、履歴が伸びると古い行動から見えなくなっていきました。
つまりモデルは、過去の思考を思い出せないうえに、過去の行動の記憶まで失っていたのです。この2つが重なれば、時間をかけて学んでいけないのは当然だ、というのが OpenAI の見立てです。
実際に攻略の様子を見ると、モデルは1手ごとに長く考え込み、なかなか前へ進めていませんでした。ARC 側が GPT-5.5 の弱点を分析した内容に触発されて調べ始めた、とも書かれています。
First, we noticed that after each game action, all private reasoning was discarded. This meant that with each action, GPT-5.6 Sol was asked to figure out the game anew, unable to remember its past thinking. The model could still see a record of past moves and brief accompanying notes, but it could not see the plans, insights, or thoughts that led to them. ／ Second, we saw that the harness used a rolling truncation window, causing older actions to become invisible as the history grew. So not only was GPT-5.6 Sol unable to remember its past thinking, it was losing memory of its past actions too. ／ Together, these two features of the harness—discarding reasoning and rolling truncation—helped explain why GPT-5.6 Sol was struggling to learn over time. ／ Inspired by ARC's analysis of GPT-5.5's shortcomings, we examined some of the GPT-5.6 Sol's attempts. Like ARC, we saw that the model didn't appear too bright. It dwelled a long time on each action and struggled to make progress. — 推論の破棄と履歴の切り捨てという2つの原因、および攻略の様子を調べたきっかけに関する記述より
ベンチマーク側にも理由があった
ここは一方的な批判ではありません。ARC-AGI-3 が意図的に汎用のハーネスを使っていることは、発表の中で理由とともに紹介されています。
ARC 側の考えは、単純なハーネスのほうがモデルの弱点が見えやすく、モデル同士の比較も公平になるというものです。対して商用の開発者は、モデルごとの機能や癖に合わせてハーネスを最適化します。
どちらの立場も筋が通っています。素の能力を測りたいのか、実運用での性能を測りたいのか。目的が違えば正しい測り方も違う、という構図です。
ARC-AGI-3 is a benchmark designed to measure how well AI agents learn and reason. Agents explore unfamiliar 2D games and infer how they work without explicit instructions. ／ ARC-AGI-3 uses an intentionally generic harness, without tools or special features. ARC's reasoning was that a simple harness makes model shortcomings more visible and makes model comparisons more fair. Commercial developers, by contrast, optimize harnesses for each model's features and quirks. — ベンチマークの目的と、汎用ハーネスを採用した理由に関する記述より
打ち手は「捨てる」から「畳む」へ
対処は2段階でした。まず思考を残し、次に履歴の扱い方を変えています。
推論を残したら、考える時間が短くなった
OpenAI のモデルは、返答やツール呼び出しの前に内部の推論メッセージで考えるよう訓練されています。その思考は会話履歴の一部として保持され、会話が長くなりすぎたら要約して続ける設計です。ChatGPT と Codex での運用もこの形になっています。
本番の構成に合わせるため、ARC-AGI-3 のハーネスを Responses API で実装し直しました。GPT-5.6 では、前回の応答IDを渡すだけで、ツール呼び出しやターンをまたいで推論が自動的に保持されます。
結果は2つ出ました。ひとつは、1手あたりに考える時間が短くなったこと。毎回ゲームを一から解釈し直さなくてよくなったからです。もうひとつが、時間をかけて学び、筋の通った戦略を取れるようになったことでした。
考える時間が減って成績が上がる。この組み合わせは、モデルを賢くしたのではなく、無駄な再解釈をやめさせただけ、という性質をよく表しています。
175,000という上限を、切るのではなく畳んだ
次に手を入れたのが切り捨てです。標準のハーネスは、会話の文脈が175,000文字を超えると古いメッセージから捨てる方式でした。
これには2つの難点があると指摘されています。ひとつは、モデルが以前の観察と行動を失うこと。もうひとつが、多くの時間を文脈がいっぱいに近い状態で動くことになり、それ自体がわずかに性能を損ないうることです。
そこで切り捨てをコンパクションへ置き換えました。これも Responses API の設定です。有効にすると、GPT-5.6 Sol は長い試行を通じて各ゲームについて学んだ内容を保てるようになり、より少ない出力トークンで高いスコアに届いています。
自分の実装でも文脈の量は把握しておく価値があります。手元のプロンプトや履歴がどれくらいの文字数になっているかは、文字数カウントで確かめられます。
無料ツール文字数カウントテキストの文字数・単語数・行数をリアルタイムでカウント。レポートやSNS投稿に。今すぐ使ってみる →
Our models are trained to think with private reasoning messages before they output replies or tool calls. These private thinking messages are retained as part of the conversation history. If a conversation grows too long, we summarize it and continue. ／ Our API makes it easy to manage context: for GPT-5.6, passing the previous response ID automatically retains reasoning across tool calls and turns. ／ With reasoning retained, we noticed two big changes. First, GPT-5.6 Sol spent less time thinking before each action, because it no longer had to interpret the game from scratch every turn. Second, when it was able to remember its past thoughts, GPT-5.6 Sol was much better at learning over time and employing coherent strategies. ／ The ARC-AGI-3 harness addresses context limits with rolling truncation. When the conversation context exceeds 175,000 characters, the oldest messages are discarded. ／ Rolling truncation has two drawbacks. First, the model loses earlier observations and actions. Second, it spends much of the tasks operating with a fuller context window, which can slightly impair performance. ／ The next improvement came from replacing rolling truncation with compaction, another setting in the Responses API. ／ When we enabled compaction on ARC-AGI-3, GPT-5.6 Sol was better able to preserve what it had learned about each game across longer runs, and achieved a higher score with fewer output tokens. — 推論を保持する仕組み、切り捨てからコンパクションへ切り替えた理由、および切り替えの効果に関する記述より
OpenAIが挙げた3つの推奨
結論として挙げられているのは、評価がモデル単体を測ることはめったにないという点です。API設定・ハーネスの設計・プロンプトという、見えにくい選択の束も一緒に測っている。しかも公開ベンチマークの低スコアに驚いて調べたら評価側が推論を捨てる汎用ハーネスを使っていた、というのは今回が初めてではないとも書かれています。
そのうえで、性能を引き出したいAPI利用者への推奨が3点並びます。旧来の Chat Completions API ではなく Responses API を使うこと。推論を保持すること。コンパクションを使うこと。モデルを比較するときも、これらの設定を使った評価に頼るよう勧めています。
なお発表の終盤には ARC への謝辞が置かれています。AGI評価に長年取り組んできたことと、今回の調査のきっかけになった分析への感謝です。
We hope these experiments serve as a reminder that evals rarely measure models in isolation—they also measure a bundle of less visible choices about API settings, harness design, and prompting. This isn't the first time we've been surprised by low scores on a public benchmark and then discovered that the eval runner was using a generic harness that dropped reasoning messages. ／ If you're an API developer trying to maximize performance, we recommend using the same settings that we deploy in our own products: ／ Use our Responses API, not our legacy Chat Completions API ／ Retain reasoning ／ Use compaction ／ We are grateful to ARC for their years of creative work on AGI evaluation, and for their analysis that inspired us to take a closer look here. — 評価が測っているものへの注意喚起と、API利用者への3つの推奨に関する記述より
まとめ：ベンチマークの数字は「モデル＋足回り」の合計値
この発表から持ち帰るべきは、スコアが3倍になったことそのものではありません。同じモデルが、置かれ方しだいで13.3%にも38.3%にもなるという事実のほうです。
しかも効いたのは特別な工夫ではありませんでした。考えたことを捨てない。古い履歴を切らずに畳む。この2つだけです。裏を返せば、多くの実装が知らないうちにモデルの手足を縛っている可能性があります。
同じ「ハーネス」という言葉は、Anthropicが公表した評価中の実世界侵害でも中心に置かれていました。あちらは足回りの不備が事故を招いた例で、こちらは足回りの不備が性能を隠していた例です。GoogleがChromeの脆弱性修正に組んだ仕組みでも、精度を上げたのはモデルの入れ替えではなく周辺の作り込みでした。
実務としては、コンテキストエンジニアリングの考え方と地続きです。何を残し、何を畳み、何を捨てるか。モデル選びと料金の比較に注ぐ労力の一部を、この設計へ回す価値は十分にあります。
無料ツール文字数カウントテキストの文字数・単語数・行数をリアルタイムでカウント。レポートやSNS投稿に。今すぐ使ってみる →
