Teslimat sorunu: Danışmanlar gitmeden önce ekibinizin sahip olması gerekenler

Yapay Zeka Projelerinin Sonları

Bir AI projesi iki sonla sonuçlanır: İlkini herkes kutlar, ikincisi ise daha sessiz ve aylar sonra gerçekleşir; bir tedarikçi formu değiştirir, bir düzenleme kayar veya bir model sürümü emekliye ayrılır ve sistem daha kötü yanıtlar vermeye başlar. O noktada soru basit olur: Kim onu düzeltecek?

Dürüst cevap "konsültörleri geri çağırmak zorunda kalacaktık" olursa, bir sistemi satın almadın; kiraladın ve fatura hala kesiliyor.

Gerçek Sahiplik Anlamı

Sahiplik, son gün teslim edilen bir belge dosyası değil, şirketiniz içinde pratik dört yetkinliktir:

Çalıştırma: Bugün sistemin çalışıp çalışmadığını kontrol edebilen ve çalışmıyorsa bilgilendirilen biri.
Değiştirme: Bir kuralı ayarlayabilen, bir belge kaynağını ekleyebilen veya bir istemi güncelleyebilen biri.
Değerlendirme: İyi çıktıyı kötü çıktılardan ayırt edebilen ve kanıtlara dayanarak değil de izlenimlere değil de karar veren biri.
Değiştirme: Sistemin neye bağlı olduğunu, taşınması için ne kadar maliyet gerektireceğini ve işi yapabilecek diğer kişileri bilen biri.

Çoğu devir sadece ilk yetkinliği sağlar ve diğer üçünü atlar. İşte bu yüzden sistemler saptırılır.

Önemli Belgeler

Belgelendirme, bir sözleşme maddesini tatmin etmek için yazılır ve çoğu zaman kimsenin dokunmayacağı mimariyi ve insanların gerçekten ihtiyaç duyduğu şeyleri atlar. Aşağıdakileri kısa tutun ve ısrar edin:

Bir hata durumunda çalışma el kitabı. En olası beş sorunu, her birinin dış görünümünü ve ilk üç adımını içeren; görevli kişi için yazılmış, değil de bir mühendis için.
Değerlendirme seti. Her biri doğru cevapları olan 100 ila 200 gerçek vaka, bu projenin en değerli ürünü.
Nedenlerle değişiklik günlüğü. Yapılan yapılandırmanın ötesinde, bir kuralın var olma nedenini içeren. Kurallar nedenleri olmadan silinir.
Bağımlılık ve maliyet tablosu. Her model, API ve tedarikçi; aylık maliyeti; sözleşme yenileme tarihleri; yok olursa ne kırılacağını.
Veri haritası. Verinin nereye gittiğini, kimlerin görebileceğini ve ne kadar süre saklanacağını içeren. Yasal ve güvenlik ekipleri bu bilgiye ani bir şekilde ihtiyaç duyabilir.

Diğer her şey isteğe bağlıdır. Bir belge, birini çalıştırmak, değiştirmek, değerlendirmek veya değiştirmek için yardımcı olmuyorsa, sadece süslemedir.

Üç Gerekli Kişi

Bir makine öğrenimi ekibini işe almanıza gerek yok. Üç isimli bireye ihtiyacınız var ve bu isimleri projenin başlamadan önce, son ayda değil belirleyin.

İşletme sahibi: Sistemin ne yapması gerektiğini belirleyen ve bütçeyi tutan kişi. Değişiklikleri onaylar ve kapsam büyümesinden hayır der. Bu teknik bir rol değildir.
Teknik koruyucu: Yapılandırmayı okuyabilen, kontrollü değişiklikler yapabilen, test edebilen ve bunları üretime alabilen biri. Genellikle mevcut bir geliştirici veya IT mühendisiyle olur. Modellerin oluşturulması gerekmez; mevcut olanları değiştirebilmeli ve dağıtabilmelidir.
Kalite sahibi: Sistemin hizmet verdiği departmandan - en üst düzey talep sahibi, baş hemşire veya destek ekibinin lideri gibi. Değerlendirme setini korur ve neyin "iyi" olduğunu belirler. Bu rol yoksa, kalite birkaç hafta içinde bir görüş meselesine dönüşür.

Toplam iç maliyet: sistem istikrarlı olduktan sonra genellikle tam zamanlı bir rolün bir kısmına karşılık gelen bir fiyattır. Başarısızlık modu masraf değil; kimsenin atanmamış olmasıdır.

Devir Testi Yapın Halinde Olabilirsiniz

Belgeleri devir kanıtı olarak kabul etmeyin. Son çalışmanızda, danışmanlar hala sözleşmeli iken, canlı bir test yapın.

Gerçek bir değişiklik seçin - bilgi tabanına yeni bir ürün ekleyin, sistemin reddedeceği şeylerle ilgili bir kuralı sıkılaştırın veya güncellenmiş bir fiyat tablosu yerleştirin. Kendi ekibinize, danışmanların odada sessiz olduğu halde bunu yapmasını isteyin ve zamanlayın. Ardından kalite sahibinin değerlendirme setini çalıştırmasını ve başka hiçbir şeyin bozulmadığını onaylamasını sağlayın.

Eğer ekip bu işlemi bir günde tamamlarsa, sistemi kendi kendinize yönetiyorsunuz demektir. Eğer bir hafta ve üç soru alırsanız, sözleşmenin başlamadan önce kapatmanız gereken tam olarak o noktaları bulmuş olursunuz. Her iki sonuç da daha değerli olanlardan çok daha fazlasıdır.

Bu sözleşmeye başlarda yazın. Devir aşamaları, alıcı ekibi ve denetimli bir değişiklik testi, işin başlamadan sonra müzakere etmekten çok daha kolaydır.

Böyle yapıyoruz Hercules A'da ve bu, projelerimizin sonlarını işaret eder. O, amacımızdır. İyi bir AI projesinin ölçütü, bir yıl sonra danışmanların ne kadar derinlemesine entegre olduğu değil, kendi ekibinizin sistemi değiştirme güveni ile ölçülmelidir.