これらの決定は人間にまかせる：AIが属さない場所の現実的なマップ

誤りを人間に責任を負わせる：AIによる意思決定の境界線

AIアドバイスのほとんどは、開始点について語っています。しかし、このリストは異なる視点を提供します—意思決定を自動化によって誤って変更されることを防ぐために、人間が明示的に保持すべき決断です。

その最後の部分が重要です。誰もが、解雇の決定をAIモデルに委ねることを選ぶわけではありません。代わりに、スクリーニングツールが候補者をランク付けし、マネージャーがそのランキングを読みますが、6ヶ月後にはなぜ短リストがそうなったのかを説明できる人はいません。境界線が移動したのに、会議も開かれなかったのです。

テスト：誰が責任を負うのか

しばらく技術から離れて、意思決定自体について3つの質問をしてみましょう。

安価に覆すことができるか？ 誤ったサポートチケットは数分のコストですが、拒否された住宅ローン申請、取り消された採用内定、または終了されたサプライヤー契約ははるかにコストが高く、その損害は企業外の人に及ぶ可能性があります。

怒る人に対して説明する必要があるか？ ダッシュボードやボードスライドではなく、特定の名前を持つ個人が、なぜと尋ねてくるのです。「システムはあなたに0.31のスコアを与えました」は説明ではありません。部屋にいる全員がそのことを知っています。

この決定が他の決定のルールを定めるか？ 価格フロアの設定、受け入れ可能な顧客の定義、販売チームへの報酬指標の選択など—これらの決定は波及します。間違いを犯せば、単なるミスではなく、政策の誤りになります。

これらの3つのうち2つを満たさない場合は、意図的に人間に判断を委ね、書面でそのことを明示しましょう。

境界線を引く4つの場所

人々に関する決定： 採用、昇進、業績評価、懲戒、解雇。EUでは、これらは単に判断ではなく規制です。AI法における雇用決定は高リスクのカテゴリーに属し、文書化、人間による監督、結果の説明が必要となります。コンプライアンスを超えて、より単純な理由もあります。管理者が自分の言葉で決定を擁護できないのであれば、その権限を失うのです。

関係を終わらせる決定： 口座の閉鎖、請求の拒否、サプライヤーの排除、返金の上限を超える請求の拒否など。自動化は候補者を絞り出すのに優れていますが、11年間顧客で、最近四半期が悪かった顧客を特定するのは苦手です。

規制や法廷で説明しなければならない決定： 信用、保険、医療の優先順位付けなど、安全に関連するもの。基準は「モデルがターゲットに到達したプロセスを再現できるか」ではなく、「3ヶ月後に情報が誰に見られていたかを再構築できるか」です。再構築ステップを最初から構築するか、自動化をまったく行わないかのどちらかです。

最適化すべき決定： モデルは与えられたターゲットに忠実に従います。それはあなたがチームを管理してきたよりも厳密です。そのため、チケットの解決を最大化するようにモデルに求めると、会話が必要なチケットも迅速に閉じるのです。

スタンプの問題

多くの企業は、人間によるレビューステップでこの問題を解決していると考えますが、通常はそうではありません。レビューステップは、以下のいずれかが真実である場合にのみ劇場です。

レビュアーが届くものの95%以上を承認する。
平均レビュー時間は30秒未満で、人が適切に考えるのに5分かかる決定です。
レビュアーは推奨事項しか見ず、その背後にある証拠も見ることができず、システムがフィルタリングしたケースも見ることができない。
オーバーライドの品質に対する評価はなく、処理速度だけが評価される。
推奨事項を覆すには、より多くのクリック、説明、または正当化が必要となる。

インセンティブを修正するか、偽りのままにするかどちらかです。スタンプは、人間の決定の責任を負うことなく、自動化の利点を提供するため、人間よりも悪い選択肢です。

マシンが取り得る立場

この議論がAIを重要な仕事から遠ざけるべきではないことを明確にします。むしろ、適切な位置に置くべきだと主張しています。モデルに契約履歴のファイル作成を任せます—契約書の18ヶ月間のやり取りを要約し、標準条件と異なる3つの条項を強調し、類似のケースの決定と時期を提示します。これは人間が時間圧力下で上手く行うのは困難な作業です。

その後、人間に決定権を与えます。