ベンチマーク / ARC-AGI-3
ARC-AGI-3
推論・知識・高いほど良い
このベンチマークとは
新規の対話的な環境を探索して解く形式の抽象推論評価。人間の行動効率を基準に採点(OpenAI/ARC Prize の説明)。
Astra の99.9%は OpenAI の自社 Responses API ハーネスでの値。ARC Prize 側は「人間水準に到達」とコメント。
*=開発元の自社発表。 出典(表)ごとに分けています。同じ表の値どうしは同じ条件で比べられます。
OpenAI の表
OpenAI: GPT-6 Astra 発表(比較表・脚注) ↗比較表の他社モデル数値は OpenAI が掲載したもの。各社最大 effort の値。
- 1
GPT-6 Astra99.9%*OpenAI・最大effort・OpenAI の Responses API ハーネス
- 2
Claude Opus 5 過去の版30.2%OpenAI(比較表に掲載)・最大effort
- 3
GPT-5.6 Sol 過去の版7.8%*OpenAI・最大effort