AI自走に『止まって聞く』点を埋め込む

🛑自走の便利さと、こわさは同じ根から来る

自分でコマンドを実行できるということは、取り返しのつかない操作にも、一人で踏み込めるということです。

便利さとこわさは、同じ根から来ます。AI が自分でコマンドを実行できるということは、力が強いということ。その力は、直せる操作にも、直せない操作にも、同じように届きます。

秘密鍵を入れ替える、本番のデータを消す、外部へ何かを公開する。 こういう操作は、あとから「やっぱりなし」がききません。

だから、AI をどこまで信じるか、という話の前に、 「どこで一度止まって人間に聞くか」を先に決めておく必要がありました。

🧭「重要そう」で決めない。可逆性 × 外部到達で決める

止める・止めないを「重要そうか」で決めると、ぶれます。私たちは、取り返しがつくかと、影響が外に届くかで決めています。

最初にやりがちなのは、「技術的に重いから承認をとる」「簡単そうだから勝手にやる」という決め方です。 これはぶれます。重い作業でも取り返しがつくものはあるし、軽い操作でも取り返しがつかないものがあるからです。

そこで軸を変えました。物差しは 2 つ。取り返しがつくか（可逆性）と、影響が社内で閉じるか外に届くか（外部到達）。これに「金銭・法的が絡むか」を足します。

可逆で、社内で閉じて、お金も法律も絡まない操作は、止めずに任せる。 取り返しがつかない・外に届く・お金や法律が絡む――このどれかに当たるものは、手前で止めて人間に聞く。 大事なのは、可逆かどうかを自己申告で決めないこと。「たぶん戻せます」ではなく、実際に戻せるかをその場で確かめます（AI の「できました」を信じない、で書いた姿勢と地続きです）。

🚨事前承認に倒す4類型

人間の事前承認をとると決めているのは、金銭・法的・外部公開・自己ロックアウトの 4 類型です。

具体的に、私たちが「人間の事前承認をとる」と決めているのは、次の 4 類型です。

• 金銭：一定額を超える支出や、価格の決定。
• 法的：契約や、法的な拘束が生じるもの。
• 外部公開・ブランド：新規の公開、外部への一斉発信、ブランドに関わる判断。
• 自己ロックアウト：権限・秘密鍵・監視・DNS・実行環境の変更など、失敗すると自分たちが締め出される操作。

4 つ目の「自己ロックアウト」は、見落としやすいところです。 秘密鍵の入れ替えや監視の停止は、一見ただの設定変更に見える。 でも失敗すると、直すための手段そのものを失います。 だから重さではなく、締め出しのリスクで拾うようにしています。

✅止まらず任せる範囲を、広く取る

止まる点を絞る代わりに、それ以外は広く任せます。承認を求めすぎるのも、失敗の一つです。

逆に言うと、この 4 類型に当たらないものは、基本的に止めずに任せます。 開発、社内文書、観測ログ、冪等な再デプロイ、設定値の調整。 取り返しがついて社内で閉じるものは、事後の報告で足ります。

「迷ったら全部承認をとる」にしないのは、意図的です。 何にでも許可を求めさせると、人間がボトルネックになり、自走の意味がなくなる。承認の求めすぎも、求めなさすぎと同じくらい、運用を壊します。

なので、止める点は狭く・鋭く。任せる範囲は広く。 判断に迷ったときのルールも、「迷ったら止める」ではなく「迷ったら可逆性を実際に測る」にしました。 2 つの軸を確かめられたら、必要以上に承認へ倒しません。

🧰止まる点は、設計時に埋め込む

止まる点を「AI の良識」に頼らない。仕組みの側で止まるように、設計の時点で埋め込みます。

一番伝えたいのは、止まる点を AI の良識に頼らない、ということです。プロンプトで「危ないことはしないでね」とお願いするだけでは、いつか越えます。

私たちは、4 類型に当たる操作を、仕組みの側で止めるようにしています。危険なコマンドは実行前のチェックで止まる。承認が要る判断は、専用のリストに 1 行として積まれ、人間の返事を待つ。意思決定の記録（ADR）にも、判断軸と 4 類型を残しました。誰が（何が）やっても、同じ線で止まるようにです。

承認待ちを 1 本のリストにまとめているのも、意図があります。 あちこちのやり取りに散らばると、承認が要る判断ほど埋もれて、いつの間にか自走で越えてしまう。 「人間に聞くこと」を 1 か所に集めておけば、社長は空いた時間にそこだけ見ればいい。 止める点を減らす代わりに、残した止める点は見落とさない形にしておく、ということです。

AI に自走させることと、何でも勝手にやらせることは違います。 「ここでは止まって聞く」を設計時に埋め込む。 その一手間が、任せられる範囲を、かえって広げてくれます。

あなたが AI に何かを自走させているなら―― 「取り返しのつかない操作の手前に、止まる点はあるか」を、一度たしかめてみてください。