引き継ぎ問題：コンサルタントが退社する前に、あなたのチームが所有すべきもの

AIプロジェクトの終焉

AIプロジェクトには二つの結末がある。最初の結末は、誰もが祝うリリースである。二番目の結末はより静かで、数ヶ月後に訪れる。サプライヤーがフォームを変更したり、規制がシフトしたり、モデルバージョンが引退したりして、システムの回答が悪化する時だ。その時点で問われるのは、誰がそれを修正するのかという単純な質問である。

正直な答えが「コンサルタントを再び呼び出すしかない」であれば、あなたはシステムを購入したのではなく、レンタルしたものであり、メーターはまだ回っている状態だ。

実際の所有権とは

所有権は最終日の文書フォルダを渡すことではない。それは、会社内で4つの実用的な能力を持つことである。

それを 実行 できる：誰かがシステムが正常に動作しているかどうかを確認し、問題がある場合は知らされることができる。
それを 変更 できる：ルールを調整したり、ドキュメントソースを追加したり、プロンプトを更新したりできる。サポートチケットを開く必要はない。
それを 評価 できる：良い出力と悪い出力を区別し、証拠に基づいて判断する。
それを 置き換える ことができる：システムが依存しているものを理解し、移動にかかるコストや、他の誰がその作業を行うかを把握している。

ほとんどの引き継ぎは最初の能力を提供し、他の3つの能力をスキップする。それがシステムの漂う原因である。

重要なドキュメント

ドキュメントは契約条項を満たすために書かれるため、誰も触れない建築設計を記述し、実際には必要なものを省略している。以下のリストを短く保ち、これらの点を強調する：

失敗時の実行マニュアル：最も可能性の高い5つの問題、それらが外部からどのように見えるか、各問題に対する最初の3ステップ。当番の人を対象に書かれている。
評価セット：100～200の現実の問題と、それぞれの正解。プロジェクト全体で最も価値のある資料である。
変更ログと理由：単に何が構成されたのかだけでなく、ルールが存在する理由も記載する。理由のないルールは次の人によって削除される。
依存関係とコストシート：すべてのモデル、API、ベンダー；毎月のコスト；契約更新日；消えると何が壊れるか。
データマップ：データの行き先、誰が見られるか、保持期間。法的・セキュリティチームは予告なく必要とするだろう。

その他のものはオプションである。ドキュメントが誰かに実行、変更、評価、置き換えを手助けしない限り、装飾品に過ぎない。

必要な3人

機械学習チームを雇う必要はない。必要なのは3人の特定の人物であり、プロジェクト開始前に、最終月の契約中に名前を決めるべきである。

ビジネスオーナー：システムに何をするかを決定し、予算を管理する。変更を承認し、範囲の拡大にはノーと言う。これは技術的な役割ではない。
テクニカルキュレーター：構成を読み、制御された変更を行い、テストして本番環境にデプロイできる人。既存の開発者やITエンジニアで、能力を確保した人物。モデルを構築する必要はなく、既存のものを修正しデプロイする必要がある。
品質オーナー：システムを利用する部門の上級クレーム処理担当者、看護師リーダー、サポートチーム長など。評価セットを維持し、「良い」とは何かを決定する。この役割がなければ、数週間以内に品質は意見に過ぎなくなる。

総コストは通常、各フルタイム役職の割合であり、システムが安定した後はほとんどかからない。問題は費用ではなく、誰も名前を決めていないことである。

引き継ぎをテストする

ドキュメントを転送の証拠として受け取らないように。コンサルタントがまだ契約下にある最終週に、ライブテストを実施する。

実際の変更 - 知識ベースに新しい製品を追加、回答拒否ルールを厳しくしたり、更新された価格表を交換するなど - を選び、自社のチームに作成させ、コンサルタントは部屋にいるが沈黙している状態で時間を計る。その後、品質オーナーに評価セットを実行し、他に何も壊れていないことを確認させる。

チームが1日でそれを完了できれば、あなたはシステムの所有者だ。1週間かかり3つの質問が必要なら、コンサルタントが終了後に見つかったギャップと同じである。どちらの結果も、署名された引き継ぎ書よりもはるかに価値がある。

契約の最初から、引き継ぎマイルストーン、受信チーム、監督下での変更テストを交渉するのは簡単だ。

Hercules Aではこのように構築しており、それが私たちのプロジェクトの終焉を意味している。それが目的である。AIプロジェクトの良し悪しは、1年後にもコンサルタントが深く埋もれているかどうかではなく、自社の人がシステムを変更できる自信を持っているかどうかにかかっている。