Yazı

Kurumsal Agent Sistemleri İçin Deterministik Orkestrasyon

AI Agents · AI Architecture · MLOps · Advanced

Kurumsal agent platformları, LLM destekli bileşenlerin kontrol düzlemine dönüşmemesi için deterministik orkestrasyon, tipli iş akışları ve politika yaptırımı gerektirir.

Agent sistemleri için deterministik orkestrasyonu temsil eden siyah sunucu altyapısı

Kontrol Düzlemi Başka Bir Agent Olamaz

McKinsey ve QuantumBlack'in Agentic AI Mesh tartışması gerçek bir kurumsal ihtiyacı vurgular: kurumlar her biri kendi araçları, prompt'ları, riskleri ve yönetişim boşlukları olan yüzlerce kopuk agent denemesi istemez. Paylaşılan mimari gereklidir. Fakat üretim sorunu diyagramların gösterdiğinden daha keskindir. Görev parçalama, yönlendirme, planlama ve doğrulamadan sorumlu bileşen ağırlıklı olarak LLM tarafından çalışıyorsa sistem bir kontrol düzlemi kazanmış olmaz. Yönetici yetkilerine sahip güçlü bir agent yaratmış olur.

Bu fark semantik değildir. Kontrol düzlemi tekrar eden çalıştırmalarda kararlı olmalıdır. Net durum geçişleri göstermeli, politikayı zorlamalı ve aşağı akış sistemi bozulduğunda öngörülebilir davranmalıdır. Dil modeli hedefi yorumlamaya yardım edebilir; fakat hangi iş akışının çalışacağı, hangi aracın çağrılacağı veya hangi aksiyonun izinli olduğu konusunda son otorite olmamalıdır. Bu sorumluluklar deterministik orkestrasyona aittir.

Niyet Anlamayı Yürütme Planından Ayırın

Pratik kurumsal desen, agent iş akışını iki faza ayırmaktır. İlk fazda LLM kullanıcının isteğini yorumlayabilir, netleştirici soru sorabilir, alanı sınıflandırabilir ve aday plan taslağı çıkarabilir. Bu faz doğası gereği olasılıksaldır; çünkü insan dili belirsizdir. İkinci fazda aday plan açık adımları, izinli araçları, giriş şemalarını, retry sınırlarını, onay kapılarını ve rollback davranışını içeren tipli bir yürütme grafiğine dönüştürülmelidir.

Bu yürütme grafiği herhangi bir kurumsal sisteme dokunmadan önce doğrulanmalıdır. Bir adım için yetkili araç yoksa iş akışı durur. Zorunlu girdi eksikse sistem bunu ister. Araç kısıtlı veriye erişecekse politika motoru aksiyonu reddeder. Plan uyumsuz alanları karıştırıyorsa orkestratör insan incelemesine yönlendirir. Olasılıksal dil işi operasyonel hesap verebilirliğe bu şekilde dönüşür.

LangGraph, Temporal, Camunda, Argo Workflows veya özel workflow engine'leri disiplinli kullanıldığında bu deseni destekleyebilir. Önemli olan araç seçimi değildir. Önemli olan planın konuşma içinde verilen bir söz değil, makine tarafından kontrol edilebilir durum olarak temsil edilmesidir.

Tipli Araçlar, Açıklayıcı Tool Kartlarından Üstündür

Birçok agent sistemi araçları doğal dil açıklamalarıyla sunar. Bu model seçimi için faydalıdır, fakat üretim güvenliği için yeterli değildir. Bir aracın tipli sözleşmesi olmalıdır: girdiler, çıktılar, yetkiler, yan etkiler, idempotency kuralları, timeout davranışı ve hata sınıfları. Model araç çağrısı isteyebilir; fakat çağrının geçerli olup olmadığına gateway karar vermelidir.

Örneğin bir fatura agent'ı, ödeme bir sonraki mantıklı adım gibi göründüğü için ödeme API'sini çağıramamalıdır. Araç gateway'i fatura durumunu, onay durumunu, tedarikçi riskini, tutar eşiklerini, görev ayrılığı kurallarını ve aksiyonun geri alınabilir olup olmadığını kontrol etmelidir. Bu kontroller geçerse iş akışı ilerler. Geçmezse model yapılandırılmış bir ret alır ve eksik bilgiyi istemeli ya da yükseltmelidir.

Bu tasarım model hatalarının etki alanını küçültür. LLM hâlâ akıl yürütebilir ve iletişim kurabilir; ama operasyonel yetkiyi doğaçlama kullanamaz. Düzenlemeye tabi sektörlerde bu ayrım denetlenebilirliğin merkezindedir.

Doğrulama Negatif Senaryoları İçermeli

Kurumsal ekipler agent sistemlerini çoğu zaman hedef görevi tamamlayıp tamamlamadığına bakarak test eder. Bu yeterli değildir. Üretim doğrulaması negatif senaryoları içermelidir: aracın kullanılamaması, kısmi API yanıtı, yetkisiz kullanıcı, eski bellek, çelişen politikalar, kötü niyetli prompt injection, yinelenen aksiyon isteği, beklenmeyen veri formatı ve aşağı akış timeout'u. Multi-agent sistemler en tehlikeli biçimde mutlu yolda değil, kenarlarda bozulur.

Bu nedenle değerlendirmeler katmanlı olmalıdır. Adım düzeyi testler tekil prompt'ları, parser'ları, araçları ve politikaları doğrular. İş akışı düzeyi testler tamamlanmış yürütme yollarını ve hata yönetimini doğrular. Uzun dönem testler tekrarlanan etkileşimlerin bellek kirliliğine, maliyet kaymasına veya karar kalitesinde düşüşe neden olup olmadığını gösterir. İnsan inceleme örnekleri yalnızca rastgele çıktılara değil, belirsiz ve yüksek etkili durumlara odaklanmalıdır.

Değerlendirme seti her dağıtımda ve temel model, prompt, retrieval indeksi, araç şeması veya politika değiştiğinde çalışmalıdır. Model sağlayıcı davranışı sessizce güncellediğinde kurum agent iş akışının hâlâ aynı operasyonel sözleşmeyi karşılayıp karşılamadığını bilmelidir.

Gözlemlenebilirlik Sadece Trace Değildir

Trace gereklidir ama yeterli değildir. Trace ne olduğunu söyleyebilir; sistemin bunu yapmasının doğru olup olmadığını her zaman söylemez. Agent gözlemlenebilirliği teknik telemetriyi karar telemetrisiyle birleştirmelidir: plan neden seçildi, hangi politika araç çağrısına izin verdi, öneriyi hangi kanıt destekledi, model nerede belirsizlik ifade etti ve hangi insan aksiyonu onayladı?

Faydalı panolar tamamlanan iş akışı başına maliyet, görev başına model çağrısı sayısı, retry oranı, araç ret oranı, yükseltme oranı, politika tarafından engellenen aksiyonlar, eski bağlam kullanımı ve insan düzeltme kategorilerini içermelidir. Bu sinyaller platformun daha güvenilir mi yoksa sadece daha aktif mi hale geldiğini gösterir. Agent trafiği ve düzeltme oranı birlikte yükseliyorsa mesh zekayı değil inceleme yükünü ölçekliyordur.

OpenTelemetry trace ve metrikler için omurga sağlayabilir; fakat agent'a özgü anlamlar eklenmelidir. Tutarlı event adları ve workflow kimlikleri yoksa olay müdahalesi arkeolojiye dönüşür.

Üretime Hazır İşletim Modeli

En güvenli kurumsal desen katmanlı işletim modelidir. LLM'ler yorumlama ve dil ağırlıklı akıl yürütmeyi üstlenir. Deterministik workflow engine'leri yürütme durumunu yönetir. Politika motorları yetki ve kısıtları uygular. Araç gateway'leri sistem entegrasyonunu yönetir. Değerlendirme setleri regresyon riskini kontrol eder. İnsanlar yüksek etkili yargıyı ve istisna sahipliğini üstlenir.

Bu yaklaşım agent sistemlerini daha az iddialı yapmaz. Daha dağıtılabilir yapar. Hedef otonomiyi her yerde kaldırmak değil, nerede izinli olduğunu ve nerede kontrollü iş akışına dönüştürülmesi gerektiğini açıkça tanımlamaktır. Bu ayrımı yapan kurumlar agentic yetenekleri kademeli biçimde ölçekleyebilir. Orkestrasyonu başka bir LLM prompt'u olarak gören kurumlar ise değer üretmekten çok hataları açıklamakla zaman harcar.

Pratik başlangıç noktası, en kritik üç agent iş akışını seçip her biri için tipli plan şeması, izinli araç listesi, hata sınıfları ve insan onayı eşiklerini dokümante etmektir. Bu küçük envanter bile hangi kararların modele değil orkestrasyon katmanına ait olduğunu hızla görünür kılar.

Öne çıkan görsel: imgix, Unsplash.