AIプロジェクトの成功を測る
ほとんどのAIプロジェクトはデモと拍手の中で終わりますが、数値で終わるプロジェクトは少ないです。6ヶ月後には、システムがコストを削減したか、顧客を獲得したか、あるいは単にメンテナンスのためのもう一つのツールを追加したかどうかを誰も言えない場合があります。問題は技術そのものではなく、成功をどのように定義するかについて事前に明確に定義していなかったことです。
「成功」を定義する
AIプロジェクトは、あなたがすでに気にかけているビジネス上の数値を変更したときに成功します。正確性や応答品質、あるいは抽象的な「採用率」ではなく、数値です。時間の削減、プロセスの日数の短縮、請求書の誤発券率、チケット1件あたりのコスト、代理店1人あたりの収益などです。
プロジェクト開始前にこの数値を書き留め、目標も明確にしましょう。「システムは見積もり作成時間を3日から1日に削減する」という主張は検証可能です。「システムは効率性を向上させる」という主張は同意できるものですが、チームがそのプロジェクトの数値を特定できない場合は、プロジェクトは資金化に適さないでしょう。
基線値をまず測定する
基線値を記録していないと、改善を評価できません。システムを公開する前に、1～2週間かけて現在のプロセスのパフォーマンスを把握しましょう：タスクにかかる時間、エラー発生率、コスト、担当者などです。これは地味な作業ですが、AI採用において最も省略されがちなステップです。
基線値は完璧である必要はありません。10例のタイミングで現在のプロセスを記録するだけでも十分です。それがないと、後から価値について議論する際は意見の相違になりがちです。
成果をモデル性能ではなく評価する
技術チームは技術的な指標（正確性、遅延、ベンチマークスコアなど）を報告しますが、これらは彼らにとって重要であり、あなたにとってはそれほど重要ではありません。モデルが95%の正確さを持っても、重要な顧客に誤りが出る場合や、スタッフが3月にシステムを使用しなくなる場合、プロジェクトとして失敗するかもしれません。
リーダーシップレベルで見直すべき指標は4つあります：
- 出力: 基線値と比較して、作業がより速く、安く、または良い結果を出しているか
- 採用率: 対象となる作業の何パーセントがシステムを通じて処理されているか、そしてその割合が増加しているか減少しているか
- 例外: 人による介入、修正、またはオーバーライドが必要な頻度、そしてそれらのケースが減っているかどうか
- 信頼性: そのシステムを使用する人々がその喪失に異議を唱えるかどうか
特に採用率に注目しましょう。対象作業の8%しかシステムが使用されていない場合、その正確性がどれほど高いかに関わらず、プロジェクトは失敗しているとみなされます。使用率が低下するのは、問題が発生した最初の正直なサインであり、誰かが苦情を言う前に現れます。
全体コストを計算する
構築コストは目に見える部分です。実際の合計には、継続的なコストが含まれます：サブスクリプションとコンピューティングコスト、スタッフが出力の確認に費やす時間、ベンダーがAPIを変更した場合や、システムが構築されたプロセスが変化した場合のメンテナンスなどです。週20時間の作業を削減するプロジェクトでも、レビューや維持管理に10時間かかる場合、実際の利益は半減します。
開始3ヶ月と6ヶ月にレビューを実施し、測定された利益と全体コストを比較しましょう。多くのプロジェクトが開始時に微妙に見えても、6ヶ月後には明らかに正の数値になることがあります。一方、デモは素晴らしかったプロジェクトでも、実際には負の数値になる場合があります。どちらのタイプかを知るために、まだ時間があるうちに修正したり停止したりしましょう。
劣化に注意する
AIシステムは橋ではありません。構築したままにはなりません。データやビジネスが変化し、APIの背後にあるモデルが予告なく変わることがあります。1月に機能していたシステムでも、7月には静かに劣化することがあり、出力が妥当に見えるため、顧客が気付くまで誰も気付かない場合があります。
軽量の修正方法は、知られたケースのセットを維持し、毎月そのシステムで実行することです。結果が変化した場合、市場からのフィードバックではなく、自社のチェックで発見できます。このタスクを特定の人に割り当てましょう。誰も注意しないと、劣化に気付かない可能性があります。
1ページテスト
AIプロジェクトが成功した場合は、1ページで説明できるはずです：基線値、目標、測定結果、全体コスト、開始後の傾向です。この1ページを書けない場合の正直な結論は、プロジェクトが失敗したということではなく、誰も状況を把握できていないということです。これはビジネスにとって同じ意味を持ちます。
この測定規律は多くのチームが予想するよりも重く、まさに価値のあるAIとデモだけでは得られないものです。また、Hercules Aが採用から開始している部分でもあり、プロジェクトの成功については常に数値で答えられるようにします。