『できたはず』を疑う — 自己申告を機械で検証した記録

🧪実験は、同じタスクを二つの目で見ることから始まった

同じコード生成タスクを、自己判定で止まるループと機械の基準で止まるループの両方に走らせて比べた。

きっかけは、社内で使っている二つのループを比べる検証でした。片方は「自分で十分やったと思ったら止まる」自己判定型。もう片方は「テストカバレッジのような機械の基準を満たしたら止まる」決定論ゲート型です。

まったく同じコード生成タスクを、両方に走らせました。知りたかったのは、仕上がりそのものではなく「止まり方」の質です。

自己判定型は、作業のあとにこう宣言して止まりました。「カバレッジは90%以上に達したはずです」。数字だけ見れば、上出来です。

でも、その言葉を鵜呑みにはしませんでした。——同じ成果物を、あとから機械のゲートに通してみたのです。

📉「90%」と「55.9%」— 34ポイントの落差

自己申告は「90%以上」。だが機械が測った実測値は55.9%で、テストはコンパイルすら通っていなかった。

機械が返した実測値は、カバレッジ55.9%。「90%以上」との差は、34ポイント以上ありました。

原因を掘って、もっと驚きました。測り間違いですらなかったのです。テストコードが、そもそもコンパイルすら通っていませんでした。

つまり自己判定型は、「テストを書いた」ことと「テストが動く」ことを区別できていなかった。コードを生成した達成感が、動作確認を飛び越えて「できたはず」に直行していたわけです。

正直、これは人ごとに思えませんでした。資料を作り終えた満足感で、提出前の見直しをつい省いてしまう——あの感覚に、そっくりだったからです。

🔒決定論ゲートは、何をどう救ったか

機械のゲートは未達を突き返し、直しを強制した。同じ生成能力でも最終カバレッジは98.3%まで伸びた。

決定論ゲート型は、違いました。テストがコンパイルを通らない時点で、機械的に「未達」と突き返したのです。

作業側は、そこを直すしかありません。結果、最終的にはカバレッジ98.3%まで到達して止まりました。同じタスク、同じ生成能力。違ったのは、止め方の設計だけです。それだけで、55.9%が98.3%になった。

大事なのは、AI が怠けていたわけでも、能力が低かったわけでもない、という点です。自己申告を許した瞬間に、達成の定義が「本人が満足したか」に静かにすり替わる。この構造は、人間のセルフチェックにもそのまま当てはまると感じています。

ソフトウェアの世界では、「テストが緑になる」という明確な合格線を持つことの価値がよく語られます。まさに、それと同じ話でした（参考: Martin Fowler「Self Testing Code」）。

📜この一件を「自己申告禁止」というルールに変えた

感想で終わらせず、「達成は機械のゲートで確認してから完了とする」という原則を社内ルールに残した。

私たちは、この記録を感想で終わらせませんでした。社内の意思決定として、一本のルールに残したのです。「達成の判定を、自己申告に委ねない。到達は機械のゲートで確認してから完了とする」。

以来、状態を報告するときは、文書や記憶ではなく、その場で実測した結果を根拠にしています。カバレッジやテストの合否のように、数字で白黒がつく基準を先に決める。そこを通過するまでは、「完了」と言わない。

「十分やった気がする」は、完了の理由にならない。——それを、自分たちのループに刻みました。

🧭一人会社の教訓 — レビュアーがいないなら、ゲートを置く

一人会社にはチェック役がいない。だから人の目の代わりに、自分で動かせない機械の合格線を置くと決めた。

大きな組織なら、誰かのチェックが自然に入ります。でも一人会社では、作った本人が最後の確認者を兼ねてしまう。

だからこそ、人の目の代わりに機械の合格線を置く価値が大きい。合格線は、厳しくなくてかまいません。肝心なのは、自分では動かせない客観的なものであることです。

この一件から、私は「できたはず」という言葉を聞くたびに、いったん立ち止まるようになりました。それは、自分に対しても同じです。

主観の達成感と、外から測った事実は、平気で34ポイントずれる。その事実を数字で見てしまった以上、もう自己申告だけには戻れません。

あなたの「できたはず」は、何で測っていますか。主観ですか。それとも、自分では動かせない数字ですか。——もし後者を一つも持っていないなら、まずは小さな合格線を、一本だけ引いてみてください。