2か月のあいだ、報告は「失敗」と書き、要約は「正常」と書いていた

報告のどこにも嘘はありませんでした。フォルダの作成も、検出結果3件も事実です。しかも失敗は、2回とも報告の冒頭に書いてありました。原因の特定も、直し方の提案も済んでいました。

それでも気づけなかった理由は、記録から2つ分かっています。通知の仕組みが止まっていて、報告は開きに行かない限り目に入らなかったこと。毎日の要約が、同じ実行を「朝の 4 便すべて正常」とまとめていたことです。

要約は「実行されたか」「レポートができたか」を確かめていて、中身は読んでいませんでした。失敗を正しく書いた報告が、1段上でまとめられるときに「正常」になっていた。注意力ではなく、要約の設計の問題でした。

領収書の保存は、間違いが数か月先の決算まで目に入らない仕事です。止まるAIは自分で知らせてくれます。動いているように見えるAIは、気づくまでの時間がそのまま損害になります。

当社は、任せてはいけない種類の仕事を任せて、その結果を、中身を読まない要約に確かめさせていました。顧客への請求書や契約更新日の管理なら、取り返しがつきません。

同じ型の失敗が、もう一つありました。毎朝AIに記事の下書きと画像を作らせ、人が貼り付けて公開する。9月9日の時点で53日連続で回り、止まった日は一度もありません。

53日目、別の記事の形を合わせるために公開ページを調べていたAIが気づきました。見出しが、見出しになっていない。下書きの「##」という記法に貼り付け先が対応しておらず、記号がそのまま文字として出ていました。

ここでもAIは仕事をしています。記事の中身に問題はありませんでした。壊れたのは、出力と成果物のあいだ、誰も見ていない継ぎ目でした。公開ページを開き直すと、少なくとも7月15日から9月9日まで、同じ崩れ方でした。

共通するのは、AIが誤った答えを出したわけではないことです。壊れていたのは、作業と成果物のあいだ、報告と現実のあいだでした。AIを賢くしても直りません。確かめる手順を、仕事の一部として持つしかありませんでした。検査は、「できたか」を見る形にしておかないと効きません。

要約の「正常」の定義と、そのまま貼れる指示文は、note の記事 に続きがあります。