Agents’ Last Exam（ALE）とは？SWE-benchとの違いと何を測るかを解説

監修者_SD以外

監修者プロフィール

森下浩志

日本最大級のAI情報プラットフォーム「romptn ai」編集長。著書に「0からはじめるStable Diffusion」「0からはじめるStable Diffusion モデル・拡張機能集編」など、AmazonベストセラーのAI関連書籍を多数執筆。AIにおける情報の非対称性を解消するための社内研修や出張講義も行う。

ALEとSWE-benchの違い

ここではまず、ALE が SWE-bench の延長線にある新スコアではなく、評価の物差しそのものを広げた benchmark だと押さえます。SWE-bench は GitHub issue を解けるかを見る設計ですが、ALE は複数の専門領域にまたがる仕事を最後までやり切れるかを見る設計です。

つまり差は点数の高低ではなく、何を仕事能力とみなすかにあります。次の章では、この違いを仕事の広さ、タスクの長さ、採点の考え方という3つの観点に分けて見ていきます。

① 測る仕事の広さが違う

いちばん大きい差は、仕事の対象範囲です。SWE-bench はソフトウェア開発の issue 修正を中心に置く一方で、ALE は医療、法務、金融、営業、設計など複数の industry cluster をまたぐ professional workflow を集めています。

この違いは、agent をどこまで実務に近い形で試したいかに直結します。コードを書けるだけでは足りず、情報を読み、判断し、必要なツールを使い分けながら成果物までたどり着けるかを見るため、ALE は benchmark の守備範囲を大きく広げています。

そのため、ALE を読む時は「coding が強いか」より「どの種類の仕事まで任せられる設計か」を先に見ると理解しやすいです。

② タスクの長さが違う

ALE は、短い1問を当てる benchmark ではなく、複数手順をまたぐ long-horizon task を完遂できるかを見る設計です。途中で必要な情報を集め、判断し、操作し、結果を検証する流れまで含めて評価するので、単発の正解より作業全体の持久力が問われます。

SWE-bench にも現実の issue を扱う強みはありますが、中心にあるのはリポジトリ上の修正タスクです。ALE はそこから一歩進み、実務で起きやすい『前提が揃っていない状態から最後まで進める力』を測ろうとしている点が新しいところです。

高スコアでも途中で段取りが崩れる agent は、長い仕事では失速しやすいです。ALE が見たいのは、まさにその失速しにくさだと考えると腹落ちします。

③ 採点の考え方が違う

ALE が重視しているのは、難しい task を並べることよりも、採点そのものを壊れにくくすることです。README では hidden references、deterministic graders、real OS sandboxes が前面に出ており、公開 benchmark に起きやすい暗記や抜け道を減らそうとしています。

この発想の背景には、既存 benchmark で contamination や exploit が問題になってきた流れがあります。公開 issue に近い課題は学習データに混ざりやすく、採点の穴を突かれると『実力より高いスコア』が出やすいからです。

要するに ALE は、task の中身だけでなく そのスコアをどこまで信じられるか まで設計し直そうとしている benchmark だと言えます。

ALEとは何か

ここでは、ALE そのものの定義をコンパクトに整理します。ALE は Agents' Last Exam の略で、AI agent が経済価値のある実務タスクをどこまで完遂できるかを測るために作られた benchmark です。

ポイントは、単なる static leaderboard ではなく living benchmark として運用されていることです。執筆時点では、論文では 1K+ tasks、公式サイトでは 1,500+ tasks を集めたと案内されており、公開後も task が増える前提で設計されています。

そのため ALE をひと言で説明するなら、現実の仕事に近い長時間タスクを、壊れにくい採点環境で測る benchmark です。この定義を先に持っておくと、後のスコア解釈もぶれにくくなります。

なぜ今 ALE が注目されるのか

ここでは、ALE がただの新 benchmark ではなく『今読む意味がある話題』になっている理由を整理します。注目の背景にあるのは、公開直後の新しさよりも、既存 benchmark の信頼性に対する不安が一気に表面化していることです。

OpenAI は SWE-bench Verified を frontier coding capability の代表指標として見なくなった理由を公表し、Berkeley RDI も主要 benchmark が exploit されうると指摘しました。つまり議論の中心が『誰が何点か』から『その点数をどこまで信じていいか』へ移っているわけです。

そのタイミングで、hidden reference や deterministic grading を前提にした ALE が出てきたため、Hugging Face Trending でも早い段階から共有されました。新しい benchmark というより、評価軸の更新候補として見られているのが現在の位置づけです。

ALE のスコアはどう読む？

この章では、headline score をそのまま能力ランキングだと思わないための見方を整理します。ALE の pass rate が低く見えても、それだけで『agent は使い物にならない』と読むのは早すぎます。

見るべきなのは、どれだけ長い task を、どんな採点条件で、どこまで再現よく完遂したかです。実務に近い workflow ほど途中で崩れやすいので、難しい benchmark ではスコアが低く出るのがむしろ自然です。

判断の軸としては、次の3点を意識するとぶれません。

数字は便利ですが、最後に見るべきなのは『実務に近い条件でも崩れにくいか』です。その観点で読むと、ALE は単なる勝敗表よりずっと実用的な benchmark だとわかります。

ALE のよくある質問

ALE のまとめ

最後に、ALE をどう理解してどう使えばいいかを一度まとめます。ALE は新しい勝敗表というより、AI agent をどれだけ現実の仕事に近い条件で測れるかを問い直す benchmark です。

次に agent benchmark を見る時は、点数だけを追うのではなく、自分の業務に近い task をどこまで安定して完遂できるかを基準にしてください。その視点を持つだけで、ALE の数字はずっと実務的な情報に変わります。

ALE は『AI が仕事で本当に役立つか』を測る物差しを前に進める試みとして、今後も追う価値のある benchmark です。