Yapıdan Sonra Fatura: Bir Yapay Zeka Sisteminin Gerçekten Çalışma Maliyeti Ne Kadar?

AI Bütçeleri: Gerçek Maliyetler ve Sürprizler

Çoğu AI bütçesi lansmanla birlikte sona erer. Önerge, keşif, geliştirme, entegrasyon ve canlı yayın tarihini kapsar. Sistem daha sonra iki yıl boyunca çalışır ve bu iki yılın maliyeti genellikle hesaplanmaz. İşte gerçekten faturaya yansıyanlar:

Hesaplanabilir Model Ücreti

Model ücretleri token bazında ölçülür; yaklaşık olarak her giriş ve çıkış kelimesi için. Bu, bir kez aritmetik yapıldığında öngörülebilir hale getirir.

Örneğin, iç destek asistanı 8.000 sohbeti ayda yönetiyorsa, altı dönüş alır. Bu 48.000 model çağrısı demektir. Her çağrı talimatlarınızı, alınan belgeleri ve o ana kadarki konuşmayı içerir - yaklaşık 5.000 token girişi - ve yaklaşık 400 token çıkışı döndürür. Ayda 240 milyon giriş token'ı ve 19 milyon çıkış token'ı satın alıyorsunuz. Orta seviye model fiyatlandırmasıyla bu ayda yaklaşık 1.000 dolar eder ve tekrarlanan talimatlarda önbellekleme bu maliyeti önemli ölçüde azaltabilir.

İki şaşırtıcı nokta vardır:

Giriş Dominansı: Ödemeniz gereken her şey gönderilen girdilerinizdir, her dönüşte ve uzun bağlam ana maliyet kontrolünüzdür.
Yeniden Denemeler ve Testler: Yeniden denemeler, değerlendirme koşulları ve iç testler üretim trafiğinin üzerine %15-30 ekler. Brüt sayıyı, temiz sayıyı değil bütçelendirin.

Model token fiyatları tutarlı bir şekilde düşmüştür. Toplam harcama genellikle artar çünkü kullanım büyür ve daha zorlu görevler için yeni modeller kullanılır. Hacim için plan yapın, oranlar için değil.

Önergeye Dahil Edilmeyen Faturalar

Model ücretleri genellikle en büyük kalem değildir. Diğer çalışan maliyetleri normal operasyonel iş yükünü oluşturur ve AI sistemleri bu tür işlere daha fazlasını gerektirir:

İnsan Denetimi: Haftada bir örnek çıktıları okuyan biri, sistemin kalitesinin tutarlı olduğunu belirler. Müşteriyle etkileşimli bir sistem için haftada birkaç saat varsayın.
Model Çevresindeki Altyapı: Arama dizinleri, vektör depoları, günlük kaydı ve belgeleri güncel tutan boru hattı. Bireysel olarak küçük ama toplam olarak sabit.
Değişim Çalışması: Yeni ürünler, yeni politikalar veya sistemin kötü ele aldığı yeni durumlar. Bekleyebileceğiniz küçük, sürekli bir akış yerine nadiren büyük sürümler bekleyin.
Tedarikçi Değişiklikleri: Modeller yayın zamanlamalarına göre eskimektedir. Bir halefle yeniden test etme, genellikle yılda bir kez, eski modelin yaptığı her şeyi kapsar.
Uyum ve Kayıtlar: Tutma, erişim kontrolü ve Mart ayında sisteme müşteriye ne söylediğini kanıtlayan denetim izleri.

Sürpriz Kalem: Drifttir

Yazılım gürültülü bir şekilde başarısız olur. AI sistemleri sessizce bozulur ve tüm yolculuklarında kendinden emin kalır.

İşinizi ilk olarak sarsan şey iş drifttir. Fiyatlar değişir, bir ürün emekli olur, bir politika yeniden yazılır. Sistem, ona verilen sürümle sorunsuzca cevap verir, yanlış olsa da, biri fark edene kadar.

Kullanıcılarınızı ve içeriğinizi de etkiler. 400 belgeden daha azıyla işe başlayan arama sonuçları zamanla daha belirsiz hale gelir çünkü daha fazla benzer eşleşme doğru cevabı gölgede bırakır.

Bunlardan hiçbirinin bir uyarı vermesi beklenmez. Aylar sonra artan talepler, düşen kullanım veya müşterinin sistemin söylediğine güvenip harekete geçmesiyle ortaya çıkar.

Bunu önlemenin ucuz ve alakalı bir yolu vardır: ayda 50-100 gerçek etkileşimi örnekleyin, iyi bir çalışan tarafından verilen yanıtlarla karşılaştırın ve zaman içindeki puanı izleyin. Bir kişi, her ay yarım gün bu işi yapabilir. Bu tek alışkanlık, yukarıda bahsedilen neredeyse tüm başarısız modu erken aşamada yakalar.

Gerçekçi Bütçe Oluşturma

İlk iki yıl için yıllık çalışma maliyetini model maliyetinin %30-50'si olarak planlayın. %20'nin altında ise sistem ihmal edilmiş demektir ve kalite eğrisi bunu gösterecektir. %60'ın üzerindeyse, ya inşa aşamasında bitmemiş çok şey varsa ya da kullanım durumu başlangıçta tahmin edilenden daha istikrarsızdır.

Bu rakamı üç kaba kategoriye bölün: kullanım (model ücretleri ve altyapı, hacimle ölçeklenir), bakım (denetim, kayıt tutma - yaklaşık sabit maliyet) ve değişim (işinize ve tedarikçilerinizin yol haritasına uyum sağlama). Kaba kesimler, hacmin değişmesiyle ilk kez kararınızı etkileyecek olduğundan, tek bir birleştirilmiş rakamdan daha aldatıcı olabilir.

Son olarak, bir sahibi atayın. Adlandırılmamış bir sahipliğe ve sürekli bütçe satırı olmayan bir AI sistemine bakım yapılmaz; sadece toler edilir ve sonunda sessizce terk edilir. Bu egzersizi atlamak gerçek maliyet - fazladan harcama değil - ödeme anlamına gelir: sistemi iki kez inşa etmek.

İnşa etmeden önce çalışma oranını hesaplayın, sonrasında değil. Bu rakam genellikle neyi inşa edeceğinize karar vermeniz için kritik öneme sahiptir.