Demo her zaman çalışır: Gerçek bir yapay zeka sistemini provalı bir sistemden ayırmanın yolu
Bir AI sağlayıcısına sorulacak pratik sorular, gösterimlerinin çalışan bir sistemin yansıması olup olmadığını veya dikkatlice hazırlanmış bir yolun içinden geçmenin bir gösterimi olup olmadığını ortaya çıkarır.
Hercules A Demosu Hakkında Soru Sorma Rehberi
Her bir AI demosu çalışır, bu da bir gösterim için var olduğu anlamına gelir. Tedarikçi belgeler, müşteri kaydı, soru ve tıklama anını seçer. Bunların hiçbiri dürüst değil ama hiçbirinin de kanıt olmadığını unutmayın. Toplantıdaki göreviniz, performans altındaki sistemin olup olmadığını anlamaktır, genellikle doğru sorular sorarak otuz dakikada bunu yapabilirsiniz.
Kendi Giriş Verilerinizi Getirin
Tedarikçi toplantısında yapabileceğiniz en yararlı şey, klavyeyi elinize almak ve sisteme kendi işinizin belgelerini verin: dağınık bir sözleşme, üç kişinin aynı anda konuştuğu destek konuları, en kötü biçimlendirilmiş tedarikçiden bir fatura. Onlardan bunu canlı olarak çalıştırmalarını isteyin, hazırlanmamış.
Değişiklikleri izleyin. Yanıt süresi, saklama, biçimlendirme ve yanıtın güveni. Kendi verilerinizle hiçbir sahne yapmayan bir sistem en azından bir kez gerçek dünyaya karşı karşıya gelmiştir.
Tedarikçi reddederse, nedenini sorun. "Verilerinizin sandbox'a yüklenmediği" adil bir cevap olabilir. Kabul edin, ardından testin yazılı olarak şartlar olarak belirlenmesini isteyin, dosyalarınız ve geçme tanımı ile birlikte.
Yanlış Olma Durumunda Ne Olur?
Bir süreliğine doğruluk yüzdesinden uzaklaşın ve geriye kalanı sorun. Sistem çoğunlukla doğru olsa bile, yanlış cevapların %8'i kullanıcı perspektifinden nasıl görünür? Yalnızca üç seçenek vardır: sistem bilmiyor, bir kişiye yönlendiriyor veya güvenen yanlış cevap veriyor.
Gürültülü şekilde hata yapan sistemler ucuz çalışır. Sessiz şekilde hata yapanlar ise pahalıdır çünkü maliyet müşteriye kötü bilgilere dayanarak hareket eden ve sorunu çözmek için bir hafta harcayan çalışanlara düşer.
Daha sonra, sisteme yanıt vermeyi reddeden bir vaka isteyin. Ürünü çalışan bir ekip genellikle gururla gösterir çünkü kısıtlama inşa etmek en zor kısımdır.
Cevap Kaynağını Sorun
Şirket politikaları, fiyatlandırma, sözleşmeler, ürün teknik özellikleri gibi kendi verilerinize dokunan her şey kaynak göstermelidir. Bir kaynak isteyin ve ardından açın. Sorun, bir bağlantının olup olmadığı değil, yanıtın iddia ettiği ile kaynak belgenin gerçekten aynı olup olmadığıdır.
Bunu iki kez yapın. İki kontrol, bir saatlik sunumdan daha çok bir sistem hakkında bilgi verir.
Veriler Değiştiğinde Ne Olur?
Demolar donmuş bir anlık görüntü üzerine kurulur. İşiniz donuk değil. Bu sorular bir ürünü prototipten ayırır:
- Yeni veya düzeltilmiş bilgi nasıl girer, ne sıklıkta ve kim bunun sorumluluğunu taşır?
- Bir belge silinir veya değiştirilirse, sistem ne kadar sürede onu kullanmayı bırakır?
- Sistem mevcut izinlerinizi saygı duyar mı yoksa herkes aynı yanıtları alır mı?
- Alt model değiştiğinde, test etme fırsatınız olur mu?
- Pazartesi sabahı saat 9'da bozulursa kim çağrıda ve yanıt süresi nedir?
Buradaki belirsiz cevaplar toplantıda alacağınız en güçlü sinyaldir. Bir ürünü canlı ortamlarda çalıştırmış bir ekip bu soruların hepsine cevap verebilir.
Maliyetli Olan Sayısal Veriler İsteyin
Sunumda bulunan yüzdelik değerler bedelsizdir. Belirli şekilli sayılar isteyin: kaç kullanıcı, ne kadar ay boyunca, hangi temel karşı karşılaştırılarak ve kim tarafından ölçülmüştür. "Birinci seviyesi %60'ını çözer" demek çok az şey anlatır, özellikle de diğer %40'ın yeniden yönlendirilmesi için ne kadara mal olduğunu ve bu rakamın on kişi ile bir pilottan veya bin kişiyle bir yıldan geldiğini bilmiyorsanız.
İyi tedarikçiler spesifik ve uyarıda bulunurlar. Bir sistemin tam olarak nerede zorlandığını bilen ve bunu savunmadan söyleyebilen ekipler, daha önce gerçek bir sistem çalıştırmış olduklarını gösterir.
Sistem Ne Yapamıyor?
Tedarikçiden, sistemin kötü uyum sağlayacağı kullanım durumlarını anlatmasını isteyin. Güvenli bir takım bu soruya hazırlıklı olmalı ve genellikle doğrudur: tarama biçiminde uzun belgeler, dil setinin ötesinde diller, yasal sorumluluk içeren bir karar gerektiren durumlar.
Her şeyi yapabilen bir sistem söylemek, henüz yeterince zorlu bir durumda sistemi test etmediklerini gösterir. Sınırları siz bulacaksınız, sözleşmenin imzalanmasından sonra.
Son Soru
Toplantıdan önce, mevcut bir müşterinin sıradan bir Salı günü gördüğünü sorun, değil gösterimi: paneli, günlükleri, öncelikli vakaların kuyruğunu, Cuma sabahı okunacak raporu. Gerçek sistemler bu unglamuzlu mobilyaları biriktirir çünkü biri tarafından işletilmesi gerekir. Bir sunumda bu tür bir Salı yoktur.