Onar veya Yeniden İnşa Et: Bir Yapay Zeka Sisteminin Yolunu Tamamladığı Beş İşaret
Yapay zeka sistemleri nadiren gürültülü bir şekilde başarısız olur. Bakımın sona erdiği beş somut işaret ve bir sistemi sürdürmek ile değiştirmek arasındaki maliyetin nasıl değerlendirileceği.
AI Sistemleri Neredeyse Hiç Ölümsüzlük Durumuna Girmez
Bir AI sistemi, karar vermeyi zorlaştıran bir duruma asla girmez. Sorunlara devam eder, puanlamaya devam eder ve her sabah bir dosya üretir. Aynı zamanda ekip bu sisteme alternatif yollar bulur, değişiklik talepleri birikir ve kimsenin büyütmeye karar vermediği yıllık harcamalar artar. Yaşam döngüsünün sonu, sistemi canlı tutmanın maliyetinin yavaşça artmasıyla gelir, tam da bir gündemde asla görünmeyen bu tür maliyetlerdir.
Bu nedenle karar ertelenir. Yeniden yapılandırma pahalı ve kesintili görünür; devam etmek ücretsizdir. Bu doğru değil ve burada bir liderin görevi, taşıma maliyetlerinin değiştirmeden daha fazla olduğu anı fark etmektir.
Beş Sinyal
Bunlar farklı sektörler ve sistem türlerinde tutarlılık gösteren işaretlerdir. Tek başına herhangi biri daha yakından incelenmesi için bir uyarıdır. Üçü birlikte gelirse, karar zaten verilmiş demektir.
- Küçük değişiklikler artık küçük değildir. İlk yılda ayarlanması iki gün süren bir fiyatlandırma kuralı şimdi üç hafta sürer ve dört başka şeyi etkiler. Sistem o kadar çok özel durum biriktirmiştir ki, kimse bir değişikliğin etki alanını tahmin edemez.
- Çözümler sistemin kendisi haline geldi. İnsanlar çıktıyı dışa aktarır ve bir elektronik tabloda düzeltir, bu tablo şimdi bir sahibi, adlandırma kuralları ve yedeklemeleri vardır. Gerçek sistem çözümlerdir; resmi sistem veri kaynağıdır.
- Temel sorulara cevap veremezsiniz. Mart ayında neden bu müşteriyi reddetti? Sayılar değiştiğinde hangi sürüm çalışıyordu? Kimse haftalar süren arkeolojik çalışmalar olmadan cevap veremiyorsa, düzenleyici ve itibar risklerini fiyatlandırmamış olursunuz.
- Bilgi tek bir veya iki kişinin elinde yaşar. Her değişiklik aynı kişiye bağlıdır. Onlar hiçbir şey saklamıyorlar; sadece tasarım kararlarının tek kopyasını taşıyanlar. Bu personel riski teknik bir sorun olarak gizlenmiştir.
- Kısıt değişti. Sistem artık var olmayan bir sınırlama etrafında inşa edildi - bir bağlam penceresi, gecikme tavanı, her çağrı için fiyatlandırma veya üç bileşene ihtiyaç duyan ve şimdi sadece birine ihtiyaç duyan bir yetenek. Bakımını yaptığınız şeyin çoğu, artık ortadan kalkmış bir soruna yönelik destek yapılarıdır.
Bir İşaret Olmayan Şeyler
Tek bir kötü çeyreklik çıktı kalitesi genellikle veri değil tasarım sorunudur. Yeni bir model sürümü, herhangi bir sistemi yeniden inşa etmek için bir neden değildir; sisteminiz iyi yapılandırılmışsa, modeli değiştirmek yapılandırma değişikliği olup test edilmelidir. Gürültülü bir olay da kanıt değildir - olaylar görünür sistemler etrafında kümelenir, kırılgan olanlar değil.
Önemli olan ayrım, kötü performans gösteren bir sistem ve değiştirilmesi pahalı hale gelen bir sistem arasındadır. İlkini düzeltebilirsiniz. İkincisi yapısal bir karar, ve hiçbir miktarda yamama bu gerçeği tersine çeviremez.
Taşıma Maliyetini Fiyatlandırın, Yeniden Yapılandırma Maliyetini Değil
Yeniden yapılandırma önerileri, yalnızca bir tarafın rakamları içeren çünkü sadece yeniden yapılandırma maliyetleri değil taşıma maliyetlerini de içerir. Karar vermeden önce diğer tarafa da rakamlar ekleyin.
Son 12 ayda mevcut sistemin tükettiği her şeyi toplayın: son 12 ayda mühendislik saatleri, bakım ve olaylarla ilgili saatler, tedarikçi ve hesaplama faturası, insanların el ile düzeltmeler için harcadıkları saatler ve işletmenin talep ettiği ancak almadığı değişikliklerin değeri. Bu son öğe genellikle en büyüğü ve neredeyse asla sayılmayan bir şeydir. Aynı şeyi iki yıl önce aynı 12 ay için yapın. Çıktı düzensizse, cevabınızı ve yönetim kurulunun tartışabileceği tek geçerli para biriminde sahip olursunuz.
Dilimlere Bölerek Yeniden Yapılandırın ve Verileri Koruyun
Yeniden yapılandırma, iki yıllık bir program ve kesinti tarihi değildir. İyi değiştirilen sistemler, bir yetenek başına bir dilim olarak değiştirilir: yeni yolu küçük bir trafik dilimi için kurun, eskiyle yan yana çalıştırın, gerçek vakalarda çıktıları karşılaştırın, dilimi taşıyın, tekrarlayın. Eski sistem, son dilim terk edilene kadar çalışır. Hiçbir zaman tek bir kesinti hafta sonu ile işletmenin bağımlı olduğu an yoktur.
Taşıma için değerli olan tek şey verilerdir - etiketlenmiş örnekler, düzeltmeler, sistemin yanlışlarını ve insanların bunları nasıl düzelttiğini kaydeder. Bu birikmiş yargı, gerçekten değerli varlığın kendisidir. Kod etrafındaki her şey değiştirilebilir ve bir noktada değiştirilmelidir.
Çoğu kuruluş, yaklaşık bir yıl çok geç bırakır. Bu yılın maliyeti nadiren görünür, tam da bu yüzden ölçülmesi gerekir. Biz müşteriler için bu yükü taşımak üzere uygulamamızı oluşturduk, ancak ölçümleme sizin yapmanız gereken ve bütçe döngüsünden önce yapılması gereken bir şeydir.