AI採点は3人にして中央値を取る

🎲1人のAIの評価は、驚くほどブレる

同じ記事を、同じ AI に、同じ聞き方で採点させても、点はそのつど揺れました。

品質ゲートに AI の採点を組み込みはじめた頃、気づいたことがあります。 まったく同じ記事を採点させても、実行するたびに点が違う。あるときは合格、あるときはギリギリ不合格、という具合です。

これは AI の作りからくる、ある種の宿命です。 AI の出力には毎回わずかな揺らぎがあり、採点のような境界線の判断では、その揺らぎが合否をひっくり返してしまう。

合否が運任せになると、ゲートの意味がなくなります。 昨日は落ちた記事が、今日は同じ内容で通ってしまうなら、それは関所とは呼べません。

👥3人に採点させて、中央値を取る

1 人の点を信じるのをやめました。同じ記事を独立した 3 人の AI 評価者に採点させ、その中央値を採用しています。

解決策はシンプルでした。採点する AI を複数に増やす。うちでは独立した評価者に同じ記事を採点させ、出そろった点の中央値（真ん中の点）を最終スコアにしています。

ここで、平均ではなく中央値を選んだのには理由があります。 1 人だけがとんでもなく高い（または低い）点を付けたとき、 平均はその外れ値に引きずられる。中央値なら、極端な 1 票があっても真ん中は動きにくい。 合議で「多数派の感覚」を拾いたいときに、中央値は素直です。

人が集まって合議するときと発想は同じです。 一人の思い込みで決めず、何人かの目を通して真ん中を取る。 AI が相手でも、数を増やして中央を取るだけで、評価はぐっと落ち着きました。

🚨1人だと「過検出」という別の罠にはまる

1 人の評価者は、ブレるだけでなく、厳しすぎる方にも甘すぎる方にも偏ります。どちらも実害があります。

評価者が 1 人だと、揺れとは別の問題も出ます。過検出――問題のない記事を「これはダメだ」と誤って落としてしまうことです。

過検出が続くと、書き直しの手間が無駄に増えます。 しかも「厳しすぎる関所」は、だんだん信用されなくなる。 人間の現場でも、細かく止めすぎるチェックは形骸化していきますよね。それと同じです。

逆に、たまたま甘い 1 人に当たれば、出すべきでない記事が通ってしまう。 独立した複数の目で真ん中を取ると、この厳しすぎ・甘すぎの両方が薄まります。1 人の気分に、合否を預けないで済む。

⚙️合議は、決まった手順で集約する

3 人の点を「どう束ねるか」も、その場の判断に委ねません。中央値を取る手順を、あらかじめ決めておきます。

大事なのは、集約の仕方まで決めておくことです。3 人の点が出そろってから「今回はどう扱おうか」と考え始めると、 そこにまた人や AI の裁量が入ってしまう。

だからうちでは、「複数の評価者に採点させ、その中央値を取り、最低ラインと突き合わせて合否を出す」 という流れを、決まった手順として固定しています。 誰かの判断を待たずに、同じ入力なら同じ束ね方で結論が出る。集約が揺れないから、採点そのものの揺れを抑えた意味が守られます。

集約を決めておくと、意見が割れたときの扱いもはっきりします。3 人の評価がきれいに一致するとは限らない。 むしろ、割れたときこそ本当は人が見るべき記事だったりします。 だからうちでは、票が大きく割れたものは「機械では決めきれなかった」と印をつけて、 人の最終確認に回す。中央値で機械的に流す部分と、割れたら人に上げる部分を、あらかじめ分けています。

私たちがふだん使っている Claude Code のようなエージェント型ツールは、 こうした採点や集約の手順を、自分で回せます（Claude Code の公式ドキュメント）。だからこそ、束ね方を先に決めておく価値があります。

🧭AIに評価をさせたい人へ

評価の精度を上げようと、1 人分のプロンプトを磨き込む前に――評価者を増やして真ん中を取る方が、たいてい早く効きます。

もし AI に何かを評価させていて、結果がブレて困っているなら、順番はこうです。

• まず、同じ入力を独立した複数の評価者に採点させる（1 人に磨きをかける前に、数を増やす）。
• 集約は平均でなく中央値を基本にする（極端な 1 票に結論を動かされないため）。
• 点をどう束ねて合否を出すかを、あらかじめ手順として固定する。
• それでも判断が割れる記事は、人が最終確認する対象として拾い上げる。

一言でいえば――1 人の AI に重い判断を背負わせない。数を増やして、真ん中を取る。 私たちの品質ゲートは、この一手で、ずいぶん信用できるものになりました。

あなたも、AI に評価を任せていますか。 もし結果がブレるなら――評価者を、いちど 3 人にしてみてください。