Gözetim bir onay ekranı değildir
İnsan gözetimi denince akla genellikle her işlemin önüne konan bir onay adımı gelir. Bu, gözetimin en pahalı ve en işe yaramaz biçimidir: hacim arttığında onaylayan kişi içeriğe bakmadan tıklamaya başlar ve gözetim biçimsel bir adıma dönüşür.
İşe yarayan gözetim seçicidir. Sistem, emin olduğu işlemleri kendi tamamlar; emin olmadıklarını ayırır ve insana yalnızca bunları gönderir. Böylece insan zamanı, gerçekten karar gerektiren azınlığa ayrılır.
Birinci karar: eşik
Eşik, agent'ın hangi güven seviyesinin altında kendi başına hareket etmeyeceğini belirler. Bu değer teknik bir tercih değil ticari bir tercihtir: yanlış kararın maliyeti ile insan müdahalesinin maliyeti arasındaki dengeyi yansıtır.
Bir iç destek asistanında yanlış cevabın maliyeti düşüktür, eşik gevşek tutulabilir. Bir hasar dosyası ön değerlendirmesinde yanlış kararın maliyeti yüksektir, eşik sıkı tutulur. Doğru eşik, ilk haftalarda ölçümle ayarlanır; baştan doğru tahmin edilmesi beklenmez.
İkinci karar: devir yolu
Agent karar veremediğinde işin nereye gideceği önceden tanımlanmalıdır: hangi kuyruğa düşecek, kim görecek, ne kadar sürede yanıtlanacak ve yanıtlanmazsa ne olacak. Devir yolu tanımsızsa, eşiğin altına düşen işlemler pratikte kaybolur.
Devir mesajının içeriği de tasarımın parçasıdır. İnsana yalnızca "emin olamadım" demek yetmez; hangi bilgiyi bulamadığı, neyi denediği ve hangi seçenekler arasında kaldığı aktarılmalıdır. Aksi halde insan işi baştan yapar ve otomasyonun kazancı sıfırlanır.
Üçüncü karar: kayıt
Her işlem için şunlar kaydedilir: girdi, kullanılan model ve sürümü, alınan karar, güven seviyesi, devredildiyse kime ve sonucun ne olduğu. Bu kayıt iki işe yarar — biri operasyonel, biri kurumsal.
Operasyonel tarafta kayıt, eşiğin doğru ayarlanmasını sağlar: hangi tip işlemlerin gereksiz yere devredildiği ancak kayıttan görülür. Kurumsal tarafta ise iç denetimin ve hukukun imza atabilmesi için gereken asgari belgedir; kaydı olmayan bir karar, denetim açısından hiç verilmemiş sayılır.
Devir oranını nasıl okumalı?
Yüksek devir oranı otomatik olarak başarısızlık değildir. Yüzde otuz devir oranıyla çalışan bir sistem, kalan yüzde yetmişi güvenle hallediyorsa ekip kapasitesinde belirgin bir kazanç sağlar. Asıl bakılması gereken, devredilen işlemlerin haklı olup olmadığıdır.
Bunun için basit bir kontrol yeterlidir: devredilen işlemlerden bir örneklem alınır ve insan kararı ile agent'ın vermek üzere olduğu karar karşılaştırılır. İkisi büyük oranda örtüşüyorsa eşik gereğinden sıkıdır ve gevşetilebilir.
