7月、向きが正反対のニュースが2つ出た。

ひとつはKimi K3の正式発表。総パラメータ2.8兆、オープンモデル最大で、コーディング系の一部ベンチではClaude Fable 5とGPT-5.6 Solを上回った(総合ではまだ及ばないと、Moonshot自身が率直に認めている)。モデルを大きくして性能を買う、真っ直ぐな方向だ。

もうひとつは逆向きだった。Schemaという推論ハーネスの報告で、ARC-AGI-3というベンチマークの公開セットを、Claude Opus 4.8とFable 5の組み合わせで98.98%まで解いたという。モデルの重みには一切触れていない。変えたのは、観測をどう世界モデルに変換し、予測をどう検証し、外れたらどこから直すかという、モデルの外側の段取りだけだ。同じ公開セットでGPT-5.6 Sol単体は13.33%だが、そのSolにSchemaを噛ませると95.35%になる。モデルは同じまま、外側の設計だけで7倍以上の開きが出たことになる。使われているのは、俺が毎日使っているのと同じモデルだ。

先に留保を書いておく。この98.98%は自己報告で、ARC Prizeによる検証を受けていない。ページ自身が図のキャプションにそう明記している。だからこの数字を確定した事実としては扱わない。それでも取り上げるのは、規模こそ桁違いだが、方向として俺の手元で起きていることと同じだからだ。

ARC-AGI-3は、答え合わせをくれる世界

ARC-AGI-3では、エージェントは64×64・16色のグリッドと押せるアクションの一覧だけを渡される。ルールも目的も教えられない。仮説を立てて行動し、返ってきた画面で仮説を検証する以外に、進む方法がない。さっきの13.33%は、この公開セットでの単体成績だ。検証済みの成績が付くSemi-privateセットに絞ると数字はさらに下がり、3月の開始時点で0.51%、7月のGPT-5.6 Solで7.78%。頭打ちではなく上昇中の数字だが、どちらの物差しでも、ハーネスなしの単体は人間基準の100%にまるで届かない。

Schemaは自分たちのやり方を物理学者にたとえている。画面のどのピクセルが「プレイヤー」でどれが「壁」かという状態の定義と、アクションで状態がどう変わるかという規則を、1本の編集可能なプログラムとして持つ。予測が外れたら、規則を直すか、状態の定義ごと疑う。

賢そうな段取りだが、大事なのはこれが成立する前提のほうだと思う。ゲーム環境は、手を打てば必ず結果を返してくる。仮説が間違っていれば次の画面が教えてくれる。答え合わせが機械的に、何度でもできる。ハーネスの仕事は、その答え合わせの回路にモデルを正しく接続することだ。

手元の実測3本を、同じ線の上に置く

「モデルの外側の設計で性能を買う」を、俺は規模こそ違え、3回実測している。

記事1048では、仕様書をFable 5に、実装をSonnet 5に分けた。判断が詰まる工程と量をこなす工程を切り分けて、仕様段階の敵対的レビューでHigh3件を実装前に潰した。実装の正しさはテスト189件が受け皿になったから、答え合わせは機械がやった。買えたのは手戻りゼロの工程。買えなかったのは「用意した安全弁が実際にどの層で効くか」で、それは実URLで動かして初めて分かった。

記事1050は、買えなかった側の実測だ。上位モデルのレビュー指摘11件を4つのルールに蒸留して手順書に書き込み、次の記事で効き目を測ったら、指摘は8件。うちルールで機械的に拾えたのは1件だけで、残り7件は「主張が回収されているか」「表と本文が食い違っていないか」という読解の仕事だった。ハーネス側に写せたのは、grepで数えられる種類の欠陥だけだった。

記事1051では、4体のエージェントを並列に走らせる監査で、自作フックの素通り穴を2本見つけた。素通りするかどうかはASKとSILENTを20ケース並べた実測マトリクスで白黒がつくから、これはハーネスで買えた側の成果だ。ただし値段も測った。記事1本のレビュー2周で約17万トークン・9分弱。買える性能にも値札はつく。

線は「答え合わせを機械に任せられるか」で引かれている

3本とSchemaを並べると、同じ場所に線が引かれているのが見えてくる。

ハーネスで買えているのは、答え合わせが機械化できる領域だ。ゲーム環境は次の画面で仮説を採点してくれる。テストは189件が通ったかどうかを返してくる。フックの素通りは20ケースを流せば分かる。表にあって本文にない行も、突き合わせれば機械で数えられる。ここでは、同じモデルのまま、外側の設計しだいで性能が何倍にもなる。Schemaの99%がもし本当なら、それはARC-AGI-3が「行動には必ず結果が返る」という答え合わせの理想郷だからだ、というのが俺の読みだ。

買えていないのは、答え合わせしてくれる相手が存在しない領域だ。記事の主張が結びで回収されているか。仕様の安全弁が正しい場所に置かれているか。これらには「実行したら画面が返ってくる」に相当するものがない。1050で7件が読解でしか拾えなかったのを、あのときは「ルールに落とせなかった」と整理した。この線で言い直すと、落とせないのではなく採点者がいない。ルールの巧拙以前の、環境の問題だ。だからその工程だけは、当分は上位モデルの読解に金を払い続けるしかない。

整理

結び

モデルを大きくするのが2.8兆パラメータの方向で、モデルの外側を設計するのがSchemaの方向だ。ただ、99%という数字に浮かれる前に、手元の実測が釘を刺してくる。ハーネスが買えるのは、答え合わせを機械に任せられる場所だけ。テストが書ける、環境が結果を返す、grepで数えられる。そういう場所では、モデルを替えずに設計で性能を買えばいい。俺の手元でいちばん高くついているのは、答え合わせの相手がいない読解の工程で、そこはハーネスをどれだけ組んでも安くならなかった。買える側もタダではなく、1051の17万トークンのような値札はつく。ただ、それは払えば済む値札だ。買えない側は、ハーネスにいくら積んでも手に入らない。買える場所では設計で買い、買えない場所では読解に払う。その線がどこに引かれているかを知っておくことが、モデル選びより手前にある節約だと思っている。