ベンチマーク / SRE-Bench
SRE-Bench
サイバーセキュリティ・高いほど良い
このベンチマークとは
ソースコードなしでバイナリをリバースエンジニアリングして中核ロジックを理解できるかを測る評価（OpenAI の説明）。
単発の成功率。OpenAI は4回試行では99.2%と報告。
＊＝開発元の自社発表。 出典（表）ごとに分けています。同じ表の値どうしは同じ条件で比べられます。
OpenAI の表
OpenAI: GPT-6 Astra 発表（比較表・脚注） ↗比較表の他社モデル数値は OpenAI が掲載したもの。各社最大 effort の値。
- 1
GPT-6 Astra88%＊OpenAI・最大effort・単発成功率 - 2GPT-5.6 Sol 過去の版55.9%＊OpenAI・最大effort・単発成功率
- 3
Claude Opus 5 過去の版12.5%OpenAI（比較表に掲載）・最大effort