← 概念解説に戻る

Concept Fable

HumanEval(コード生成評価)

先に結論:HumanEvalはコード生成モデルを評価するためのベンチマークで、通常は関数シグネチャ、説明、テストが与えられ、テストを通過するコードをモデルが生成することが求められる。小規模なプログラミング問題の機能的正しさを測り、pass@kなどの指標がよく使われる。しかし実際のソフトウェアエンジニアリングを完全に代表するものではなく、問題の汚染、テストカバレッジの不足、ベンチマーク最適化の影響を受けやすい。

HumanEval · ベンチマーク

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

大工は仕掛けを語るだけでなく書き記す

工匠学院の試験はかつて学徒に尋ねた。水車を指定の水位で止めたいなら、どうするか。暗記が得意な者はよく答えられた。

その後、工房は本当に自動水車を必要とした。説明できる人は回る仕掛けを書けず、書ける仕掛けはしばしばエッジケースで止まってしまった。

院長はまず、学徒にもっと長い計画書を書かせた。計画書は読めばよくまとまっていたが、その計画どおりに作ったものが川で動くかどうかは誰にもわからなかった。

彼はまた、先生に経験で採点させた。先生は見慣れた書き方を好み、ある短い仕掛けが実際には確実に動くことを見落とした。

新しい考官は問題を変えた。関数説明とテスト例を与え、学徒に実行可能な仕掛けを書かせる。仕掛けは一組の隠された水槽に入れられて試される。

ある答えは文章が美しいのに、動かすと水が漏れる。ある答えは素朴だが、すべての水槽を通る。点数は実際の造機関能力に近づき始めた。院長は成績を分解して見せた。空の水槽を扱えるか、満水に耐えられるか、水位がちょうど縁に接するとき暴れないか。こうして点数は単なる美しい順位ではなくなり、どの小さな仕事がすでに信頼でき、どれがまだ鍛え直しを要するかを指し示せるようになった。

考官も認めている。これは小さな仕掛けを測るだけで、浄水場全体を建てられることを意味しない。問題の漏洩や過度な過去問演習も、点数を不当に高くする。後に学院は問題バンクの管理もより厳しくした。公開練習問題は弟子がルールに慣れるために与えてよいが、正式試験では見たことのない仕掛けを残さなければならない。さもなければ、答えの形だけを覚え、実際の河道では依然として修理できない者が生まれる。

工房はそれゆえ、これを仕掛けを書く能力を測る一つの物差しとし、ソフトウェア工学能力全体の証明とはしなかった。院長は言った。仕掛けを書く者は、最終的にコードを動かさねばならず、考えを筋道立てて話すだけでは済まない。後に管事はこの経験を日々の規則に書き入れた。まず場面を見て、次に境界を見て、最後に失敗時に誰が引き継げるかを見る。これらがすべて明確になって初めて、美しいデモは納品可能な仕事になる。再検査のときには、古い事故と照らし合わせ、新しい規則が紙の上で立派なだけでなく、慌ただしい現場で同じ誤りを実際に防げることを確認する。

明らかにする

この物語が伝えるのは:HumanEval(コード生成評価)

HumanEvalはコード生成モデルを評価するためのベンチマークで、通常は関数シグネチャ、説明、テストが与えられ、テストを通過するコードをモデルが生成することが求められる。小規模なプログラミング問題の機能的正しさを測り、pass@kなどの指標がよく使われる。しかし実際のソフトウェアエンジニアリングを完全に代表するものではなく、問題の汚染、テストカバレッジの不足、ベンチマーク最適化の影響を受けやすい。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 水車の仕掛け:生成されたコード
  • 方案作文:説明するだけで実行しない
  • 隠し水槽:隠しテストケース
  • 漏水:コードの実行失敗
  • 小さな仕掛け:短い関数のプログラミング問題
  • 水工場全体:実際のエンジニアリングプロジェクト。

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

コード生成評価pass@kMBPPSWE-bench
京ICP备2026014272号