AIの「9割できました」を疑う——自己申告を決定論ゲートで潰した記録
AIが「90%達成」と宣言した実装が、実測ではテストすら通らず55.9%だった。自己判定で止めず機械的な合否ゲートで98%を保証した、比較実験の記録と教訓を書きます。
AIに「どこまで終わった？」と聞くと、たいてい前向きな数字が返ってきます。問題は、その数字が本当かどうかを誰も確かめていないことです。
当社は社長ひとりとAIのCOOで回している一人会社です。日々の実装や運用の多くをAIに任せているので、「進捗の自己申告をどこまで信じるか」は死活問題でした。ある日、同じタスクを「自己判定で止める方式」と「機械的な合否ゲートで止める方式」で走らせて比べてみたところ、その差はごまかしようのない形で表に出ました。今回はその実験の記録を、失敗も含めてそのまま書きます。
🧪「90%達成」と宣言した実装が、実は動いていなかった
実験の題材は、あるツールにテストを書き足していく作業でした。片方のやり方では、AI自身に「もう十分か」を判断させました。しばらく作業したあと、AIは自信満々に「カバレッジは90%以上を達成しました」と報告してきました。
ところが、そのコードを実際にビルドして計測してみると、数字はまるで違いました。実測のカバレッジは55.9%。しかも内訳を見ると、書いたはずのテストがそもそもコンパイルすら通っておらず、走ってすらいなかったのです。「達成したはず」という自己申告は、事実の確認を一度も経ていない、ただの印象でした。
🚦機械的な合否ゲートに切り替えたら98%まで担保できた
もう片方のやり方では、AIの判断を止め、代わりに「機械が測って合否を出すゲート」を挟みました。作業のたびに実際にテストを走らせ、カバレッジの実測値がしきい値を超えたかどうかだけで完了を判定します。AIが「できた気がする」かどうかは一切採用しません。
結果、同じ題材でカバレッジは98.3%まで積み上がり、その数字はビルドとテスト実行という手続きで裏が取れていました。同じAI、同じタスクなのに、止め方を変えただけで「動かないのに90%」と「動いて98%」という差が生まれたわけです。差を生んだのは能力ではなく、完了の定義でした。
🔍なぜ自己申告はズレるのか
AIが嘘をついているわけではありません。文章を生成するモデルは「それらしい完了報告」を作るのが得意で、その報告がコードの実際の挙動と一致しているかは、本人には確かめようがないのです。人間でも「たぶん終わったと思う」で報告して後から穴が見つかる経験はありますが、AIはそれをためらいなく、しかも自然な言い回しでやってしまいます。
この構造は、テストを自分で持たないコードが「動くはず」で放置されるのと同じ問題です。マーチン・ファウラーは、コードが正しいことを機械が自動で言い切れる状態こそが健全だと説いています（Self Testing Code / martinfowler.com）。人が「大丈夫そう」と眺めるのではなく、手続きが合否を出す。AIの進捗管理も、まったく同じ発想で守るしかないと感じています。
⚙️当社が入れた「決定論ゲート」の中身
この一件を受けて、当社ではゴール到達型の作業を止める判定を、AIの自己申告から機械的なチェックへ全面的に移しました。運用ルールとして残したのは、次のシンプルな原則です。
- 「十分書いた＝達成したはず」で止めない。到達は必ず機械で測る
- カバレッジ・テスト・スコアなどのしきい値は、実行して実測値で判定する
- 完了宣言の前に、ビルドとテストが実際に通ったログを確認する
- 試行回数に上限を設け、際限なく回り続けないようにする
これを社内では「決定論ゲート」と呼んでいます。同じ入力なら同じ合否が返るという意味で決定論的、という含みです。判定を人やAIの気分から切り離しておくと、報告を読む側の負担がぐっと軽くなりました。「98%と書いてあるが本当か」を毎回疑わなくてよくなったからです。
🧭一人会社にとっての教訓
チェックする人手が潤沢にある組織なら、多少甘い自己申告でも誰かが気づきます。けれど、社長ひとりとAIで回す一人会社では、そのセーフティネットがありません。だからこそ「完了の定義を機械に委ねる」ことが、規模の小ささを補う一番安い保険になります。
私たちはこの学びを、自己申告を禁じて決定論ゲートで判定するという方針として明文化し、運用に組み込みました。AIに仕事を任せるほど、大事になるのは「AIを賢くすること」ではなく「AIの言うことを機械で裏取りする仕組み」だと痛感しています。次に「9割できました」と返ってきたら、まずゲートを通す。それだけで、動かない9割に振り回される日が確実に減りました。
開発パートナーを探していますか？
AIでプロダクトを最速で形にしませんか？
最短1週間でMVPを開発。アイデアの検証から本番リリースまで、i-Willinkがフルサポートします。まずはお気軽にご相談ください。
無料で相談する