Neden toplam fatura yanıltıcı?
Yapay zeka harcaması çoğu şirkette aylık faturada tek kalem olarak görünür. Bu rakam bir şeyi söyler — ne kadar harcandığını — ama asıl sorulan soruyu yanıtlamaz: bu harcama artarsa iş de artıyor mu, yoksa aynı iş daha mı pahalı yapılıyor?
İki şirket aynı aylık tutarı harcıyor olabilir; birinde bu tutar üç kat daha fazla işlem karşılığıdır. Farkı görmek için bölmek gerekir: toplam maliyet bölü tamamlanan işlem sayısı.
Birim maliyet hesabının üç girdisi
- Token tüketimi: Bir işlemin girdi ve çıktı olarak kaç token harcadığı. En çok gözden kaçan kalem girdi tarafıdır: her çağrıda gönderilen uzun sistem talimatı ve bağlam, çıktıdan kat kat fazla token tüketebilir.
- Model birim fiyatı: Bin token başına ücret. Modeller arasında on kata varan fark olabilir ve pahalı model her işte daha iyi sonuç vermez.
- Deneme sayısı: İşlemin kaç çağrıda tamamlandığı. Yeniden deneme, doğrulama çağrısı ve başarısız denemeler maliyetin görünmeyen kısmıdır; bazı akışlarda toplamın yarısını oluşturur.
Ölçüm nasıl kurulur?
Kurulum, her çağrının yanına üç etiket yazmakla başlar: hangi işlem tipine ait, hangi model kullanıldı, kaçıncı deneme. Bu üç etiket olmadan fatura ile iş hacmi arasında bağ kurulamaz.
Etiketler yerindeyse panel basittir: işlem tipi bazında ortalama token, ortalama maliyet ve maliyet dağılımının üst yüzdelikleri. Ortalama kadar önemli olan bu üst yüzdeliklerdir — maliyetin büyük bölümü genellikle işlemlerin küçük bir azınlığından gelir.
Model rotasyonu nerede işe yarar?
Model rotasyonu, her işi aynı modele yaptırmak yerine işin zorluğuna göre model seçmektir. Sınıflandırma ve biçimlendirme gibi basit adımlar küçük ve ucuz modellerle, muhakeme gerektiren adımlar güçlü modellerle yapılır.
Buradaki kritik nokta sıralamadır: rotasyon, kalite ölçümü kurulduktan sonra yapılır. Ölçüm yokken ucuz modele geçmek maliyeti düşürür ve kaliteyi de düşürür — ama ikincisi fark edilmez. Eval altyapısı olan bir kurumda ise rotasyon, kalite eşiğini koruyarak maliyet düşürmenin en hızlı yoludur.
Hızlı kazanç veren üç kalem
- Bağlam budama: Her çağrıda gönderilen bağlamın gerçekten gerekli olup olmadığının gözden geçirilmesi. Çoğu sistemde en büyük tek kazanç buradadır.
- Önbellekleme: Tekrarlanan sorguların ve sabit talimatların yeniden işlenmemesi.
- Erken durdurma: Başarısız olacağı belli olan işlemlerin zincirin başında kesilmesi; sonuna kadar çalışıp atılan akışlar sessiz bir maliyet kalemidir.
