数字の読み方

Artificial Analysis が10種の評価（AA-Briefcase, GDPval-AA, AutomationBench-AA, Terminal-Bench 4.0, SciCode, HLE, GDP.pdf, CritPt, AA-Omniscience, AA-LCR）を重み付けして合成した総合指数。

第三者が同じ手順で測る総合点。配点はエージェント30%・コーディング20%・一般30%・科学推論20%。指数の版（v4.1.1 / v4.3 など）が違う数値は比較できない。

Artificial Analysis 総合指数の旧版（v4.1.1）。OpenAI の比較表がこの版の数値を掲載している。

v4.3 とは構成も難易度も違うので、v4.3 の数値と並べて比べないこと。

ターミナル上で、ソフトウェア・機械学習・科学・運用・セキュリティ・ハードウェア・メディアなど複雑な多段階作業をやり切れるかを測る評価。

実際にコマンドを実行して作業を完了できるか。エージェントのハーネス（実行環境）や試行回数で結果が変わり、標準誤差は±2〜3pt程度。数pt差は誤差の範囲。

ソフトウェアエンジニアリングのエージェント評価（v1.1）。

問題内容の詳細は各社の評価方法ページを参照。上位モデルは70%台で接近している。

エージェントのコード変更が「マージされるか」を測るコーディング評価（Mainセット）。

単に動くかではなく、レビューを通る品質かを見る。プロンプトやハーネスの違いで数ptずれる。

FrontierCode 1.1 の拡張セット。

Main と同じ考え方で問題数を広げたもの。

Artificial Analysis が算出するコーディングエージェント向けの指数（OpenAI の比較表に掲載）。

AA 独自の合成指数。構成の詳細は AA の方法論ページを参照。

Google の比較表で「エージェント型コーディング」に分類される評価。

詳細は Google の評価方法ページを参照。

実際の Cursor の利用セッション由来の、曖昧で複数ファイルにまたがるタスクでコーディングエージェントを評価する。

現場の指示の曖昧さに近い評価。effort（思考量）の設定で値が大きく変わる。

Google の比較表で「エージェント型コーディング」に分類される評価。

詳細は Google の評価方法ページを参照。上位は90%前後で飽和気味。

Google の比較表で「ML エンジニアリング」に分類される評価。

詳細は Google の評価方法ページを参照。

Zapier 作。複数の連携アプリをまたぐ実際の業務ワークフローをエージェントが遂行できるかを測る。

業務自動化の実用度。ガードレール違反や安全装置の介入が失敗扱いになる設定だと、実運用より低く出る。

44職種の実務タスクでエージェントを評価する。Artificial Analysis が Elo で算出。

Elo は対戦形式の相対評価で、差が大きいほど人間の評価者に選ばれやすい。絶対的な正答率ではない。

Artificial Analysis が Zapier と共同で、非公開の657タスクで実施する版。部分点あり、ガードレール違反があるタスクは0点。

Score は達成した目的の割合の平均。公開版と違い非公開問題なので、対策学習による水増しが効きにくい。

Google の比較表で「知識労働」に分類される総合指数。

詳細は Google の評価方法ページを参照。

金融分野の業務を行うエージェントの評価（v2）。

金融調査・分析の実務適性の目安。

法務業務を行うエージェントの評価（Harvey）。

全体に低い値の難関評価。差は大きく見えるが母数・採点方法に注意。

AutomationBench-AA で、全目的を達成しかつガードレール違反ゼロだったワークフローの割合。

一部できたかではなく、完全に任せられるかの指標。Score より厳しい。

コンピュータ操作エージェントの合格率を測る評価。

測定者によって値が大きく違う（OpenAI 59.3% / Google 34.2% など）。必ず測定者と条件を確認すること。

CAD（設計）タスクの評価。

OpenAI の脚注によると、Claude の数値は評価に3つの修正が加えられた条件。直接比較に注意。

実際のPC環境でGUI操作タスクをこなす OSWorld 2.0 のオフラインサブセットの部分点。

実際に画面を見て操作する力。部分点なので完全達成率ではない。

OSWorld の 2.1 版。Anthropic が部分点で報告。

2.0 とは版が違うため数値を直接比較できない。

ウェブを調べて見つけにくい情報を探し出す能力を測るブラウジング評価。

検索・閲覧を使った調査力。ツール構成で結果が変わる。

高解像度のプロ向けソフトの画面で、指示された要素の位置を正しく特定できるか（GUIグラウンディング）。

PC操作エージェントの目の良さ。

大学院レベルの生物・化学・物理の選択式問題（Diamond は高品質サブセット）。

上位モデルは93〜96%で飽和気味。数ptの差は実力差より誤差・問題の癖に近い。

専門家が作った多分野の超難問集。ツール（検索・コード実行など）使用あり。

ツールの有無で大きく変わる。ツールなしの値とは比較できない。

ARC Prize の抽象推論パズル（第1版）。

ほぼ飽和（97〜98%）で、差がつきにくい。

ARC Prize の抽象推論パズル（第2版）。

1より難しい。90%前後で上位が接近。

新規の対話的な環境を探索して解く形式の抽象推論評価。人間の行動効率を基準に採点（OpenAI/ARC Prize の説明）。

Astra の99.9%は OpenAI の自社 Responses API ハーネスでの値。ARC Prize 側は「人間水準に到達」とコメント。

データ解析・シミュレーション・モデルのフィッティングなど、科学研究のワークフローをコードとターミナルで遂行できるかを測る。

研究実務に近いエージェント評価。標準誤差が±3.5〜5ptと大きいため、近い値の優劣は断定できない。

医療・健康分野の専門家向け評価。回答の長さによる有利不利を補正した値。

医療判断の代替ではなく、モデル間の相対比較用。

研究レベルの最難関数学問題（Tier 4）。

OpenAI は Astra で97.6%と報告。非常に難しい評価での高得点だが、自社報告である点に注意。

Google の比較表で「科学・数学」に分類される評価。

詳細は Google の評価方法ページを参照。

Google の比較表で「科学・数学」に分類される評価。

詳細は Google の評価方法ページを参照。

長文脈内のグラフを幅優先探索（BFS）でたどるタスク（F1）。128Kトークンまで。

長文の中で構造を追跡できるか。

同上（256K〜1Mトークン）。

超長文では Argon が大きくリード（Google 報告）。

長大な文脈に埋めた8個の類似した「針」から指定のものを取り出す長文脈検索評価（256K〜512Kトークン）。

長い入力でも正確に参照できるか。OpenAI は Astra と Sol のみ掲載。

同上（512K〜1Mトークン）。

超長文での検索精度。長くなるほど差が開く。

グラフ・図表の読み取り（視覚的チャート認識）。

Anthropic は「ツール使用あり」、Google は条件の記載なしで報告しており、値の直接比較は不可。

長時間動画の理解を測る評価。

動画入力の強さ。Google の比較表に掲載。

既知の脆弱性を動くエクスプロイトに変換できるかを測る評価（OpenAI の説明）。

セーフガードなしでの成功率。

Google の比較表でサイバーセキュリティに分類される脆弱性（CWE）関連の評価。

詳細は Google の評価方法ページを参照。

既知の脆弱性を実際に動くエクスプロイトにできるかを測る評価（OpenAI の説明）。

OpenAI はセーフガードなしで測定。Astra は100%で飽和。

ソースコードなしでバイナリをリバースエンジニアリングして中核ロジックを理解できるかを測る評価（OpenAI の説明）。

単発の成功率。OpenAI は4回試行では99.2%と報告。

Intelligence Index の評価1タスクあたりの加重平均コスト（入力・キャッシュ・推論・回答トークン価格から算出）。

同じ知能点でもコストは大きく違う（例: 同スコア53でも Astra は Fable 5.1 より57%安い）。低いほど良い。

Artificial Analysis が運営する画像生成の対戦評価。同じプロンプトで生成した2枚の画像を利用者が比べ、勝敗から Elo を算出する。

人の好みによる相対評価で、絶対的な品質ではない。集計時点・サイトで数値が大きく変わる（同じモデルでも出典ごとに差がある）ため、同じ出典の値だけを比べる。