操縦席で起きていること
旅客機の自動操縦は巡航区間を人より安定して扱う。風が少し変わっても高度と方位を細かく保つ仕事は機械のほうがずっと得意だ。だから操縦士が巡航中にしていることは、たいてい計器を見守ることである。
ここから問題が始まる。自動操縦が手に負えない状況が来れば操縦は人に渡る。ところが自動操縦が手に負えない状況とは、定義上まれで複雑な状況だ。
つまり何時間も何もしていなかった人に、システムが投げ出したいちばん難しい判断が数秒のうちに渡される。しかも予告なしに。
リサンヌ・ベインブリッジが1983年にこの構造を整理した。論文の題は自動化の皮肉で、本文は五ページである。
第一の皮肉 — 設計者も人である
論文が最初に指す皮肉は意外な場所にある。
自動化の名分はたいてい人が当てにならないことだ。人は誤り、疲れ、一貫しないので機械に渡そうという論法である。ところがその機械を設計したのも人だ。
だから自動化されたシステムの誤りは消えるのではなく場所を移す。現場の失敗は減り、代わりに設計段階で思い至らなかった条件が残る。それは人が見落としたものなので通常運転では表に出にくく、よりによってまれな状況で噴き出す。
AIに移しても同じ文が成り立つ。人は偏っているからモデルに任せようという論法は、そのモデルを人の作ったデータで学習させたという事実の前では半分しか有効でない。
二重の罠
本題は人に何が残るかだ。論文が指摘した罠は二重である。
第一に、人に残るのは易しい仕事ではなく難しい仕事だ。自動化は規則が明確で反復的な部分から食べる。残るのは例外、判断、曖昧な状況である。人の取り分は減るのではなく、難度だけ上がったまま減る。
第二に、その難しい仕事を練習する機会が消える。普段の業務でその技能を使わないからだ。手の操作も状況を読む感覚も、使わなければ錆びる。だからいざ必要な瞬間の実力は自動化導入前より低くなっている。
ここに第三が重なる。自動化がきちんと回っているか監視するには、その判断が正しいかを知らねばならない。ところがそれを知る能力こそ、自動化が置き換えたその能力である。監視するにはその仕事ができねばならないのに、自動化のせいでその仕事をしなくなる。
だから論文の結論は直観に反して出てくる。自動化されたシステムの運転者は訓練が少なくて済むのではなく、もっと必要だ。まれだが決定的な介入のためである。
監視は人が最も苦手な仕事だ
自動化のあとに残る代表的な仕事が監視だが、よりによってこれが人の最も苦手な類の仕事である。
これは印象ではなく古い測定結果だ。第二次大戦のころ英国でレーダー監視員の成績を測った実験があった。参加者は時計のような装置の前に座り、針がときおり一目盛りではなく二目盛り跳ぶ瞬間を捉えねばならない。信号はまれにしか出ない。
結果は明白だった。始めて三十分ほど経つと見落としの割合が目に見えて上がった。人が怠けているからではない。何も起きない画面を長く見守る能力自体、人にはさほど備わっていないのだ。
ここから出る結論は痛い。自動化は人にいちばん難しい判断を残しながら、同時に人がいちばん苦手なやり方で待機させる。二つの条件が同じ人に同時にかかる。
実際に起きたことがある
2009年に大西洋上空で起きた航空事故が、この構造をそのまま示している。
速度を測る計器が着氷して無効な値を出すと、自動操縦は自ら退いた。その瞬間、操縦は人に渡った。夜間、巡航高度、計器の一部が信頼できない状態、そして数秒。
調査で挙げられた点の一つが、この組み合わせが乗員にとって訓練でも実務でもほとんど経験のないものだったということだ。巡航高度で手動操縦する状況そのものがまれである。自動操縦がよく働くからだ。
ベインブリッジが二十六年前に書いた構造がそのままだ。機械が投げ出す瞬間がいちばん難しい瞬間であり、その瞬間のための練習は平時に起こらない。
この事例を挙げるのは航空を責めるためではない。航空はこの問題を最も長く研究し、最も多くの対策を作った分野だ。それでも残るというのが要点である。
自動化バイアス — 横に答えがあると人は見なくなる
もう一つある。自動化された助言が横にあると、人の検査行動そのものが変わる。
研究者がこの傾向を自動化バイアスと呼ぶ。二つの方向で現れる。一つは見落とす側だ。システムが知らせなかった問題は人も気づかない。自分で確かめるべき箇所を、システムが黙っているという理由で飛ばす。
もう一つは付いていく側だ。システムが誤った助言をすればそれに従う。一人なら下さなかった判断を、画面に答えが出ているという理由で下す。
肝心なのはこれが実力不足ではないという点だ。横にもっともらしい答えがあると、人は検査の強さを自動的に下げる。労力を節約する方へ傾き、それがたいていは合理的なので固まってしまう。
第9回の結論とここで出会う。滑らかに書かれた産出物の前で人の検査は弱くなる。そしてAIの産出物はほとんど常に滑らかだ。
四十年後、同じ構造がオフィスに入ってきた
この論文がいま読まれる理由は、AIの導入がまさに同じ形だからだ。
下書きをAIに渡す。人の取り分は確認になる。ところが確認は下書きより易しい仕事ではない。白紙から書くより、他人が書いたもっともらしい文章から誤りを見つけるほうが難しい。書いた人は自分がどこをぼかしたか知っているが、読む人はその痕跡が消された文章を受け取る。
しかも自分で下書きを書く機会が減るほど、何が誤りかという感覚も鈍る。第二の罠がそのまま働く。
コードも同じだ。書く仕事を渡せば残るのは読んで判断する仕事で、それは書くより難しい。動くコードと動くように見えるコードを分ける仕事は、書いたことのある人にしかできない。
そして監視の問題もそのままだ。たいていの場合AIの産出物は問題ない。だから確認は何も起きない画面を見守る仕事になる。三十分後に見落としはじめる、あの仕事である。
これは自動化するなという話ではない
ベインブリッジの論文は自動化反対論ではない。要点は、自動化を設計するときに人に残る取り分も一緒に設計せよということだ。
放っておけば人の取り分は設計されず残余として残る。自動化が食べられなかった部分がそのまま人の仕事になるやり方だ。そうやって決まった取り分は、誰もその難度を検討したことがない。
実際、AI導入の計画書で人の側の設計を見つけるのは難しい。何を自動化するかは詳しいのに、残る人が何をどんな条件でするのかは確認と承認くらいの一行で終わる。その一行にこの回で言う罠のすべてが入っている。
この状態を呼ぶ名前が次回に出てくる。
用語は一つだけ、自動化の皮肉
自動化の皮肉とは、自動化が進むほど人に残る仕事の難度は上がり、その仕事を練習する機会は減る現象である。
ここで皮肉という語が正確なのは、意図と結果が逆だからだ。人の負担を減らそうとした試みがいちばん難しい部分だけを残し、失敗を減らそうとした試みが決定的な瞬間の失敗確率を上げる。
今回のバッジが設計原理である理由も同じだ。この理論はAIアルゴリズムの祖先ではない。AIをどう導入するかを規定する。航空と医療が数十年かけて作った対策がそのまま参考資料になる。
では明日から何を変えるか
AIに仕事を渡すとき、自分が練習し続ける部分も一緒に決める。全部渡して確認だけしていると、半年後には確認の実力も一緒に落ちている。週に一件は最初から自分でやるものが要る。これは好みではなく減価への対応だ。
確認を下書きより易しい仕事として計画しない。日程と人員を組むときにAIが下書きを書くから確認はすぐという仮定が入れば、その計画はすでに誤っている。節約されるのは書く時間であって判断する時間ではない。
確認項目をあらかじめ一覧にする。全部読んでおかしい箇所を探すやり方は滑らかな文章の前で失敗する。数値、日付、引用、条件、例外処理といった確認点を先に決め、項目ごとに走査する。第6回で挙げた検証一覧と同じものだ。
無作為に何件かは最初からやり直す。監視作業の成績を保つ方法として知られているのがこれだ。全件確認は続かないが、標本を決めて深く掘るのは続く。そしてその標本が実力を保つ練習分になる。
まれにしか使わない技能は日程に入れて練習する。航空業界がシミュレータを使う理由がこれだ。AIなしで最初からやってみることを予定表に入れなければ誰もやらない。
まとめるとこうだ。何を渡すかを決めるとき、何を残すかも一緒に決める。