Sorun: çalışan sistem ile doğru çalışan sistem aynı şey değil
Bir yapay zeka sistemi kurulduktan sonra ilk demoda genellikle etkileyici görünür. Sorular doğru cevaplanır, belgeler okunur, akış baştan sona işler. Bu görüntü, sistemin doğru çalıştığının kanıtı değildir — yalnızca seçilmiş birkaç örnekte çalıştığının kanıtıdır.
Fark, hacimde ortaya çıkar. Günde on soru soran bir demo ile günde beş bin soru alan bir üretim sistemi arasındaki mesafe, yüzde birlik bir hata oranının günde elli yanlış cevap anlamına gelmesidir. Ölçüm kurulmadığında bu elli cevabın varlığı bilinmez; yalnızca şikâyete dönüşen birkaç tanesi görünür.
Doğrulama fazı pratikte ne içerir?
Üç ayrı kol vardır ve üçü farklı kişilere rapor verir.
- Kalite doğrulama: Sabit bir test setiyle ölçülen doğruluk, eksik cevap ve halüsinasyon oranı. Test seti gerçek kullanıcı sorularından türetilir ve sürüm değiştikçe yeniden çalıştırılır. Muhatabı CTO'dur.
- Güvenlik testi: Prompt injection, veri sızıntısı ve yetki aşımı senaryolarının denenmesi. Bulgular önem derecesine göre sıralanır ve kapanma süreleri izlenir. Muhatabı CISO'dur.
- Uyum kontrolü: Model envanteri, risk sınıflandırması, insan gözetim noktaları ve denetim izinin yerinde olup olmadığı. Muhatabı hukuk ve iç denetimdir.
Atlanırsa ne oluyor?
Doğrulama fazı atlanan projelerde tipik olarak şu sıra yaşanır: sistem canlıya alınır, ilk haftalar sorunsuz görünür, birkaç ay içinde model sağlayıcısı sürüm günceller, çıktı kalitesi sessizce değişir ve bunu kimse fark etmez. Sorun, altı ay sonra bir müşteri şikâyeti veya bir denetim sorusu olarak geri döner.
Bu noktada iki maliyet birden ortaya çıkar. Birincisi düzeltme maliyeti: geriye dönük olarak hangi cevapların yanlış verildiği bilinmediği için etki alanı kestirilemez. İkincisi güven maliyeti: hukuk ve iç denetim, bir daha benzer bir projeye baştan şüpheyle yaklaşır ve sonraki yatırımlar yavaşlar.
Doğrulama fazı ne kadar sürer?
Kapsamla değişir ancak tipik olarak toplam proje süresinin yüzde on beş ila yirmisidir. Küçük bir otomasyonda birkaç gün, kurumsal bir asistan projesinde iki ila üç hafta. Bu süre, projeye sonradan eklenen bir gecikme değildir; tasarım fazında planlanır ve takvime baştan yazılır.
Nereden başlamalı?
Halihazırda üretimde çalışan bir sisteminiz varsa sıralama şudur: önce mevcut sistemin çıktısından bir test seti çıkarın, sonra bu set üzerinde bugünkü doğruluğu ölçün, ardından ölçümü haftalık tekrarlanır hale getirin. İlk iki adım genellikle iki haftadır ve bundan sonraki bütün iyileştirme tartışmalarının zeminini kurar.
Henüz kurulmamış bir proje için ise kural basittir: ölçüm planı olmayan işe başlamayın. Hangi metriğin, hangi yöntemle ve hangi sıklıkla raporlanacağı sözleşmede yazılı değilse, teslimden sonra bu konuşmayı yapmak çok daha zordur.
