GPQA Diamond

推論・知識・高いほど良い

このベンチマークとは

大学院レベルの生物・化学・物理の選択式問題（Diamond は高品質サブセット）。

上位モデルは93〜96%で飽和気味。数ptの差は実力差より誤差・問題の癖に近い。

＊＝開発元の自社発表。出典（表）ごとに分けています。同じ表の値どうしは同じ条件で比べられます。

比較表の他社モデル数値は OpenAI が掲載したもの。各社最大 effort の値。

サイズ・ライセンス・Google 発表の数値を報じたもの。